Отношения отчима с сыном

Я вышла замуж во второй раз сыну было 8. Сразу забеременнила. Планы о жизни с ним были летом когда он был у отца а когда вернулся начались проблемы. Он остался жить с бабушкой там школа ближе, я беременна, мужу надо много работать и быть в спокойствии, а сын, когда 3 раза в неделю мы его забирали вроде мешал и раздражал. Я думала все наладится достроим дом, родится дочь, он поймет что значит любить. Сын стал называть его папой. Мы переехали. Муж с самого начала говорил я сильно сюсюкаюсь с сыном, что надо быть строже. Но мне казалось он еще маленький, ему нужна ласка, мужа переубедить не могла и старалась делать как он хочет в надежде что что-то изменится. Его раздражала моя мягкость, не дай бог обниму или пожалею, говорил если я хочу воспитать мужчину, то это просто должно прекратиться. Он признавался что ревнует меня к сыну. Ребенок рассеянный, любит приврать, ленивый, все делает лишь бы побыстрей, у него мало друзей, но он добрый и в нем много нежности и любви. Сейчас ему 11, прожив пол года вместе, не ужившись, решили отправить его на пол года пожить к отцу, потому как там хуже, полное безденежье, думали он сравнит и поймет чего может лишиться. Мы зашли в тупик. Муж злился, обижался, ходил без настроения, говорил его уже достало что сын ничего не исправляет а я как между двух огней. Я даже не могу и поговорить с сыном. Не дай бог я обниму его или поцелую, об этом и речи быть не может, "Он взрослый ему надо нормальное воспитание а не сопли!" Втроем ходить муж не хочет. Он хочет для него хорошего но у сына не получается жить по его правилам. У мужа правила несложные и правильные: утром говорить Доброе утро!, следить за собой и своей комнатой, правильно и качественно выполнять поставленные задачи, делать самостоятельно уроки а ему часто лень просто сесть и подумать, после 20:00 не тревожить нас, потому что это наше личное время, он может после 8 до 21:30 играть потом все выключает и в кровать. У сына не выходит. Он привык что за него я все делала. Муж работает дома. Он старается, по воскресеньям едет с сыном на пару гулять, покупает ему многое, пытается говорить с ним.
Сейчас вопрос стал жестко, забирать от отца или нет, потому как сын хочет остаться с ним. А думаю что если его не будет, для меня семья не будет полной. Думаю там ему значит лучше, что я не смогла его сделать счастливым. Не хочу портить жизнь второму ребенку, я люблю своего мужа. Но так же понимаю если сын будет с нами, мы друг друга сгрызем а сын все равно счастлив не будет. как быть?.