Страх перед новыми отношениями

Я разошлась с мужем, у меня есть ребенок.Мой бывший муж очень сложный человек с тяжелым характером (как в кино: "тиран, деспот, ужасный человек"). Очень любит выпить, буйный бывает во хмелю: кричал, чтоб убиралась, что замки поменяет и ночевать буду на улице, что сына отберет. Главной задачей было прийти домой после работы и не поругавшись лечь спать. Разошлась год назад, хотя, конечно, надо было сделать это раньше,просто сама не могла на это решиться, все же нас связывали 10 лет совместной жизни, все на что-то надеялась. Но решилась! Теперь судимся и делим имущество - ситуация малоприятная и стрессовая.
А потом я встретила другого мужчину и у нас начались новые отношения. Точнее говоря, мы встречались в юности. Так сказать гуляли-целовались, невинные были отношения и недолгие). А после развода я сама ему написала и мы стали встречаться. Мы очень любим друг друга. Недавно начали жить вместе. У него за плечами два неудачных брака и двое детей.
И вот что меня беспокоит. Он говорит о наших отношениях, как о чем-то вечном, о том что встретил женщину своей мечты... А я.. А я боюсь!
У него два раза не сложились 2 брака, и я очень боюсь, что и со мной не сложится. Если честно, даже будет стыдно сказать моим друзьям, что я третья жена.
Боюсь, что он меня разлюбит и мне будет больно (мне уже достаточно боли причинил первый муж).
Меня раздражает, что если бы я в юности иначе себя вела и продолжила бы с ним отношения, то не вышла бы замуж, и у него не было бы двух глупых браков и двух детей. Умом понимаю, что прошлого не вернуть, но забыть прошлое не получается. Дети его, если честно, меня вообще раздражают - опять же как напоминание, чтоб если б я себя вела иначе, то у нас были бы общие дети и жизнь бы сложилась иначе. Простите за такой длинный текст, но я старалась все написать максимально подробно.