Проблемы с сыном

Здравствуйте!У меня сыну 5 лет, с отцом ребёнка не живем с самого рождения, сын не разу его не видел.Воспитывали с бабушкой вдвоём. я постоянно работала, так что всё его свободное время был с бабушкой.Характер в принципе не плохой, можно договориться, но он совершенно не видит грань между взрослым,и собой.Раньше я этого сильно не замечала,т.к. бабушка постоянно сглаживала углы.Год назад я вышла за муж.Муж любит детей,и пытался его увлечь разными занятиями, но ему ни чего не надо,посидит 2 минуты,и убегает.Проблема заключается в том что, чем сын становится старше, тем больше наглеет.Хамит,грубит,обзывается.Бабушка постоянно говорит, перерастёт, но чем дальше, тем хуже,считает, что детей бить и наказывать нельзя, с ними нужно разговаривать.И не подпускает меня к нему,когда я его начинаю ругать, заступается. И теперь у него бабушка защитник,а мама плохая.Он не понимает, что я его наказываю, шлёпаю, по его мнению, я его бью и ору на него! Вчера поругались с мужем на этой почве.Дошло до того, что мне муж сказал, что любит меня,но у него поменялось отношения к моему сыну, и что он не хочет идти домой. Жить отдельно у нас нет возможности. И что делать я просто не знаю.Помогите пожалуйста, очень прошу,мы на гране развода!