Замужем,но до сих пор люблю бывшего!

Здравствуйте! С мужем вместе не долго, чуть больше года. Недавно поженились. До свадьбы все было хорошо,но после меня стали посещать мысли ,что это не мой человек,нету ни страсти ни ощущения спокойствия рядом с ним, не знаю какое ждёт будущее нас. Кажется,что с женитьбой мы поспешили. Муж часто задаёт мне вопросы по поводу моих прошлых отношений, но я старалась не думать о бывших. И тут я поймала себя на мысли, что я до сих пор люблю мужчину,с которым мы встречались 5 лет назад,мы были вместе 1,5 года расстались по глупости,я его бросила сама,потому,что он не решался жить вместе,(он работал в другом городе),боялся,что не сможет меня обеспечить.. он всячески пытался меня вернуть,приезжал за мной, просил прощения,а я не захотела вернуться. Потом очень жалела об этом долгое время,поняла,что нам вместе было очень хорошо и легко и все могло бы получиться если бы я не бросила его.
И вот недавно,неудержавшись я написала ему,что у меня есть чувства до сих пор к нему,и он ответил взаимностью, сказал, что все это время скучал и сейчас очень скучает по мне.
Теперь я не знаю,что мне делать,ведь я понимаю,что все это время действительно имела к нему чувства. Просто старалась забыть его,находя других ,но не тех по душе. Понимаю, что с этим человеком мне очень хорошо, и душевно и физически.
Мне очень плохо на душе,от того,что по отношению к мужу не справедливо то,что я общаюсь с бывшим. Я не хочу его обманывать, но и уйти не могу, не хочу рубить с плеча. Сейчас я мучаюсь,мне не комфортно в нынешних отношениях, боюсь прожить всю жизнь не с тем человеком. Но и на отношения с бывшим рассчитывать не буду,прошло 3,5 года и мы уже не те люди, хоть и общались недавно, даже теплее и лучше ,чем раньше. Как быть?!