Постоянные ссоры с мужем

Здравствуйте. Хочу рассказать о своих отношениях с мужем и спросить совета: как жить дальше?
Ссоры начались когда дочке было 6 месяцев. Он начал ко мне придираться: ты ничего не делаешь, ты толстая, ты некрасивая, да и просто раздражаешь тем, что существуешь. Оказалось, что он начал встречаться с девушкой, с которой у него были отношения до нашего брака. Уговорами, разговорами и слезами (не скрою, было и такое) добилась того, что отношения вроде как наладились и мирно мы прожили примерно год до прошлого лета. Вот тут он мне устроил "веселую" жизнь, скандалы на тему "Как я его достала", что "жизнь со мной невозможна", что пора бы мне вообще "катиться подальше" и все в очень нелицеприятных выражениях. Признаюсь, держалась до последнего, старалась как-то замять скандалы, думала-он работает, устает на работе, и дома это все выплескивается. Но всякому терпению приходит конец. Предел настал и моему. Но видимо он только этого и добивался, потому-что как только состоялся первый настоящий скандал, он собрал вещи и ушел. Это было лето ссор, уходов и примирений. Зиму мы прожили более менее нормально, но вот совсем недавно опять очередной скандал, опять он собрал вещи и ушел. И самое главное, при каждой ссоре он предлагает мне развестись. Что это? просто угроза или его настоящее желание? я уже не понимаю. Я очень его люблю, когда мы не ссоримся я думаю что и он меня тоже любит. Но может это не так? может уже пора согласиться и развестись? Я не боюсь остаться одна, ведь у меня есть моя малышка. Но она-то не виновата, что мама и папа не могут найти общего языка. Помогите, подскажите как быть дальше.