Живём гостевым браком((

Здравствуйте! Год назад у нас с мужем родилась дочь. Мы любим её очень сильно, но это незапланированный ребёнок. мы были не в браке и продолжали так жить. Вернее просто встречаются. Я хотела семью, но муж(а тогда просто парень) не делал предложения. Мы встречались, в после рождения дочки стали жить с моей мамой. И это было ужасно. Через 3 месяца я нашла его переписку с девушкой, он назначал ей свидание. Мы разошлись. Но спустя почти год, помирились. Он сделал мне предложение, мы поженились и нашли съемную квартиру. Но только вот теперь моя мама против этих отношений. Когда мы собрались переезжать к мужу, она хваталась за сердце, рыдала , обзывала новую квартиру бомжатником. Я не выдержала этого прессинга. Теперь мы с дочкой живём у мамы, а муж приходит в гости. У нас ненормальная семья. Я виновата. Как быть? Искать новое жильё? Но и его мама забракует, т.к бюджет у нас скромный(