Ребёнка тянет к общению с "особенными" детьми

Добрый день, уважаемые специалисты.
Ситуация такая. Живём с мамой отдельно. Но у меня есть сестра с отклонениями в развитии (очень плохая речь, себя практически не способна обслуживать(тут возможно скорее "благодаря" бабушкиной гипер опеке)) которая живёт с мамой. Мой сын, которому 7,5 лет часто ездит к бабушке. Меня это уже начинает напрягать, но ребёнком манипулируют, просто когда мы пересекаемся, начинается "мы бы тебя забрали, но мама..." в итоге я сдаюсь и отпускаю его. Его там особо не балуют покупками или прогулками, но бабушка откармливает, мама разрешает всё... и сестра. с сестрой у них любовь. При чём в прямом смысле, вся их переписка по вайберу сводится к "я тебя так люблю, так люблю" при этом сын ещё и ревнует сестру к её знакомому. Когда я озвучила это родственникам, надо мной просто посмеялись. Дедушка сказал "нормально, любовь племянника к тётке". Ребёнок потом приезжает слегка... "поднабравшимся" от сестры, он не понимает, что она больной ребёнок и так как бы не ведут себя люди. Кстати, ей 23, но развитием примерно на уровне сына. Ещё меня настораживает, что спать их тоже кладут вместе.
Дома как я не пытаюсь с ним сюсюкать и потакать во всём, он всё равно живёт только мыслями о том, когда он поедет к бабушке. Меня очень настораживает вся это ситуация, потому что это мой большой страх был(и как оказалось, остаётся, глупый ребёнок, именно в плане отставания в развитии). И когда я ходила беременной мне врачи намекали, что у ребёнка могут быть отклонения. Ребёнок здоровый, всё хорошо, но учиться не хочет совершенно и выученный материал моментально забывается. В такие моменты у меня появляются сомнения...
Может, конечно, я себя накручиваю, и проблемы у меня в голове?