Муж думает о бывшей

История такая. До меня мой муж, пусть будет N (как псевдоним), встречался с женщиной. Когда они только познакомились, она была замужем и с ребёнком. У неё с её мужем отношения не ладились. N очень хотел добиться её, писал, общался с ней, узнал про конфликт этот в её семье и действовал в противовес её мужу. Добился через полгода, НО всё это время его жутко злило, что она с ним спит. Она и N были в отношениях 6 лет, и всё это время N её ревновал, хотя и поводов уже не было. Дошло до того, что N просто на стены начал лезть: голоса слышал, у него панические атаки то и дело случались. А ей он ничего не рассказывал. Решили расстаться. Через несколько месяцев он познакомился со мной. У нас закрутились отношения, мы поженились через год и уже 2 года как живём в браке. Буквально несколько дней назад он рассказал мне всё это и сказал, что не может забыть прошлое, жалеет, что тогда ничего не рассказывал ей. Говорит, что постоянно сравнивает её со мной (мол, это она бы по-другому сделала, тут она бы иначе поступила и т.п.). Вроде как он её недавно увидел и прошлое нахлынуло.
Собственно, вопрос мой такой. Могу ли я что-то сделать, чтобы сохранить наши с ним отношения? Очень его люблю и не хочу потерять.