Как мне быть в такой ситуации?

Здравствуйте! Живём гражданским браком 2 года. Я после первого брака и мой мужчина тоже. Есть дети с этих браков и год назад появился совместный ребёнок. Бывшая жена не даёт ему видеться с детьми из-за того, что он живёт в новой семье. Дети настроены агресивно ко мне и к ребёнку от предыдущего брака. На этой почве большие скандалы у нас пошли. Я увидела как он постоянно с ней переписывается, когда я сплю. В основном за выяснение меня. Она пишет, что он таким образом предал детей. Что променял тех детей на чужого ребёнка. Меня это задело, начали выяснять отношения, на что мой мужчина сказал, чтоб я не придумывал. Они ведут разговоры только за детей. Плюс ко всему, когда написала ему сестра, когда мы думаем оформлять законно наши отношения, он ответил что больше жениться не собирается. Так, а зачем он мне тогда сделал предложение? Я уже на грани. Хочу бросить всё. Останавливает наш ребёнок. Я понимаю что нужен отец. У первого ребёнка отца нет. Не хочет поддерживать никаких контактов. Не хочу чтоб и этот рос без отца. Как мне быть? Как принять ту модель семьи, что его бывшая манипулированиями детей не даст нам нормальной жизни.