Проблема с бывшим мужем и общим сыном

Добрый день.Не могу решить как поступить. 3 года назад,я развелась с мужем,нашему сыну тогда было 1,5 года.разводились трудно,с сорами и недопониманием (подал на развод муж,я не хотела разводиться).Через пол года,я познакомилась с другим мужчиной,мы живём в гражданском уже два года.К сыну он относится отлично, полноценно заменил сыну отца,сын называет его папой.Но проблема вот в чём,бывший муж приезжает к сыну не систематически,то раз в месяц,то раз в четыри месяца,а бывает и раз в неделю.После ихних встреч я его насильно забираю за руку домой,сын себя ведёт обеспокоено,капризничает,закатывает истерики,нервничает,начинает часто моргать и заикаться,говорит,что не хочет с нами жить потому,что родной отец его не ругает и всегда куда-то водит при встрече.Но проходит время и сын даже не спрашивает про родного папу,даже называет его только по имени.Я понимаю,что не могу запретить им видеться,но нужны ли эти встречи,с такими истериками и срывами у ребёнка.Темболее у него есть человек,который полностью заменяет ему родного отца.Что делать,незнаю...Помогите советом пожалуйста.