Как отпустить прошлое и начать строить новые отношения

Здравствуйте. Почти пол года назад разошлись с мужем. Инициатива была моя, отношения зашли на нет. Морально он меня очень сильно подавлял , с его стороны было как соперничество , за счёт того что подавлял меня , привозносил себя. Длилось это на протяжении двух лет. Из-за этого начались проблемы со здоровьем. Он не ожидал что я пойду на такой шаг , и теперь хочет вернуть меня. Хотя у нас и есть ребенок и вместе были 13 лет , но возвращаться в те отношения я не хочу. Я понимаю что человек не изменится и продолжать жить в обстановке где тебя не ценят и унижают морально больше не хочу. С ним я начала себя терять. Сейчас ухаживает за мной мужчина. Разведен и живёт с двумя детками. Его я знаю очень давно. Как человек он мне нравится и отношением к жизни напоминает меня. С ним даже другая манера общения, это то чего мне не хватило в прошлых отношениях. Мне и хочется с ним попробовать строить отношения. Он к ребенку хорошо относится и мой ребенок очень любит его так как знакомы они с самого рождения. Так как я человек очень зависимый от чужого мнения (сейчас работаю над этим ) меня беспокоит что скажут люди. Городок маленький, все друг друга знают. И со стороны будет выглядеть так как будто я ушла от мужа к своему знакомому. Как поступить в этой ситуации даже и не знаю. Встречаться так чтобы никто не знал это не выход, хочется нормальных полноценных отношений. Муж мой бывший тоже этого не поймет и будет меня поливать грязью всем. Как найти выход из этой ситуации?