Как справится с прошлым?

Здравствуйте!
У меня такая ситуация, сейчас я живу со своим мужем и все у нас отлично, иногда меня мучают воспоминания о прошлом, дело в том что в начале наших отношений все не было гладко, получилось так что он меня очень сильно любил, а у меня к нему на тот момент была лишь не большая симпатия. Он знал что я его не люблю, но это его не останавливало.
Мы начали жить вместе, так получилось что мне негде было и на время я переехала к нему, но никаких обещаний типа что мы вместе и пара не было, в один момент я встретила мужчину к которому привязалась и у нас спонтанно завязались отношения, естественно я в ближайшее время съехала от теперешнего мужа, и продолжала отношения с другим. Мне кажется он понимал что у меня кто то есть. Но мои отношения с другим мужчиной не были долгими, мы через 1,5 месяца разбежались, все это время мой теперешний муж пытался хоть как то но напоминать о себе, звонил, писал, иногда приезжал просто спросить как дела, потому что знал где я живу на съёмной квартире.
После этого всего наверное месяца 2-3 я была одна, потом как будто все поменялось, и мне стало не хватать его (мужа), он переодически что то писал и вот опять мы встретились и вроде как начали быть вместе, я решила что стоить попробовать и не ошиблась, он прекрасный человек жаль что раньше я его не поняла.

Теперь меня мучается один момент, спустя год нашей совместной жизни, он узнал что я была с другим в тот момент пока общалась с ним ( не помню как это произошло, говорили вроде мы с ним о чем то и он спросил, а я не могла соврать)
Его конечно это разозлило, и он начал спрашивать подробности где как что, естественно на нервах я не могла рассказать подробно все что происходило в отношения с другим мужчиной, но рассказала лишь часть.
Теперь спустя несколько лет у меня как будто болит, и жалею о том что не рассказала всего, я так понимаю для него это было очень важно знать все, но не смогла, теперь когда у нас все хорошо, я не хочу ворошить прошлое, понимаю что в принципе наверное и не должна потому что, для меня это не было изменой ему, я ему ничего не обещала и на любила его он знал, единственная ошибка моя мне кажется это то что я не прекратила вообще общения с ним когда была с другим, так как мне было его как будто жаль все это время.

Хочу вот понять права ли я в своих размышлениях, потому что очень забила этим голову только об этом и думаю, думаю может до рассказать ему все сейчас, но не хочу все портить, это будет выглядеть глупо как по мне.