Я опекун родных внуков, в общении с внуком проблемы

Добрый день. Я являюсь опекуном двоих малолетних внуков 8 и 10 лет. Мать детей(невестка) умерла, 3 года назад. К сожалению сын отказался от заботы о детях (до смерти жены тоже не заботился о семье) и был официально лишен родительских прав. Мы с мужем приняли решение взять опеку на себя. Хотя муж не родной дедушка, но он очень серьёзно отнесся к этой ситуации, разделив со мной полную ответственность за воспитание детей.
Не скрою в нашем возрасте это сложно, но мы ведем активный образ жизни и приучаем к этому деток, что бы наполнить их жизни позитивом, катаемся на роликах ходим в походы, любим Карпаты, путешествуем. Мы приняли решение, что не будем запрещать отцу детей видится с ними, может что то наладится. Теперь очень сомневаемся в этом решении. Он приходит раз в месяц или того реже, общается (это громко сказано) пол часа и уходит. Девочка (10 лет) переживает легче, хотя пару дней расстроена, а мальчик после этих встреч проявляет агрессию, особенно в школе, поведение невыносимо, матерится, уроки с нами учить не хочет, провоцирует меня на скандал, наши нервы тоже не железные. Муж мужественно переживает, а я срываюсь бывает шлепаю. Мальчик ни чем не интересуется как его отец, ничем нельзя заинтересовать, ничем не стимулируется. Скажите может не стоит разрешать отцу приходить, что бы не расшатывать психику детей?