как сохранить мир между двумя семьями?

У моего мужчины 2 детей, дочке 4 года сыну 1 год, у меня дочка ей 3 года. Он ушел от них до того как со мной познакомился, но до меня навещал их каждый день. Теперь мы живем вместе. Его дети ненавидят меня и мою дочку, причем в открытую, его бывшая теща настраивает старшую девочку « эта тетя и девочка плохие, они отняли у тебя папу, твой папа плохой, он теперь любит другую девочку» Мать этих детей не говорит им таких вещей, она благодарна мужчине за поддержку и помощь, он содержит и ее и детей. Но детки часто общаются с тещей и попадают под ее влияние. Мужчина хочет забрать детей к нам. А вот меня почему-то подбрасывает от этой мысли. Он пробовал ходить туда несколько раз в неделю.. но в эти моменты я себя чувствую очень плохо, пытаюсь не показывать, но я эмоциональна, и после его таких уходов, мне тоже хочется уйти… чтобы не испытывать эту боль. Я мать –разведенка, а так по честному - мать-одиночка, с мужем развелась когда дочке было 3 месяца. Бывший муж никогда ничем не помогал. Мой мужчина конечно золото, с дочкой ладит, она к нему привыкла, да и вообще очень терпимый, ко всем моим эмоциям относится спокойно, поддерживает, говорит , что справимся. А я чувствую себя одиночкой, каждый раз, когда он там, снова чувствую, что все могу сама, ему это не нравится, а мне не нравится, что выходные мне приходится проводить вдвоем с ребенком, а неделю он работает. Наверное, я просто патологическая эгоистка. Но мне кажется, что он сидит на двух стульях. У него есть ключи от квартиры бывшей жены (это не та квартира, в которой они жили вместе, новая), он не понимает, что девочка, находясь у нас страдает и плачет по маме, как бы я ни старалась ее развеселись или подбодрить, когда он приходит туда дети не хотят его выпускать, просят уложить их спать, он остается, его бывшая кормит его ужином, потому что он голодный. А когда он не общается с ними, чтобы не делать больно мне, он сам начинает завывать от тоски. Помогите, пожалуйста, мы очень друг друга любим и хотим, чтобы всем деткам было хорошо.