Скандалы с мужем из-за моих поездок к маме

Добрый день!
Замужем год, есть маленький ребенок. Живем с мужем у его родителей. Раньше жили с моими, переехали после большого скандала (были разногласия между моей мамой и мужем, которые не прекращались). Муж с моей мамой не особо ладит, говорит что она к нему плохо относится. Ему 20 лет, на момент свадьбы было 19 и она в нем видит маленького мальчика, во мне женщину.. Пыталась его воспитывать. Сейчас уже мама с мужем не ругаются, общаются вежливо, стараются пойти друг другу на встречу. Родители наши поругались и не общаются. Моя мама тыкнула их носом, что они не особо нам помогают, у них есть две квартиры, которые они сдают, а сами живут в частном секторе в недостроенном доме. Мама просила их одну из квартир, та что поменьше выделить нам, они сказали что пошли на жертвы и переехали в частный дом ради нас...
Мама к нам в гости приехать не может. Живет она в другом конце города (около 38 км) и к ней я вынуждена ездить одна с маленьким грудным ребенком в общественном транспорте, за что меня муж тычет носом: \"у твоей мамы машина есть, а ей все-равно что ты одна будешь три вида транспорта с коляской менять и еще 2 км пешком идти\". А встретить меня мне тоже кажется нормальным, по-этому где-то на нее обижаюсь.
Общения с мамой не хватает. Мы с ней раньше после работы по часу на кухне сидели общались, а сейчас 5 минут по телефону и все. Мама просит хоть на пару дней дома остаться, мне ей сложно отказать, я понимаю что она и за мной и за внучкой скучает, понимаю что обязана ей. Муж против того, что бы я оставалась ночевать. Говорит что мой дом теперь тут и нефиг шляться и что он тоже за мной скучает. Так где ж я шляюсь, если я к родной маме поехала. Не понимаю почему я не могу у нее на ночь остаться или на пару дней приехать погостить. Для мужа нормально было бы раз в месяц чай приехать попить к родителям. А мне нужно больше времени. Все мои поездки к маме сопровождаются скандалом с мужем. После многочисленных скандалов договорились что я к маме буду ездить раз в месяц на одну ночь. Так было в прошлый раз, но мне этого времени мало. Хочу завтра на два дня к маме поехать. Сказала мужу об этом вчера. Тут же поругались. Сказал что против. И добавил: \"делай что хочешь, тебе на мое мнение все-равно\". Ему хорошо, он живет с родителями, а у меня одна мама (родители в разводе, с папой общаюсь раз в пол года).
Чувствую что это разрушает наши отношения Ругаться уже надоело, переубедить его не могу. Не понимаю почему так плохо ездить на дальше, чем один день..Спасибо