Поездки к родственникам

У нас есть прабабушка. Это бабушка бывшего мужа, у которой он живет. Иногда я с ребенком езжу к ним в гости чтобы ее проведать. Она всегда очень рада видеть внучку, но встречи организовывает бывший муж, т.к. иногда еще приходят его родители, с которыми у нас натянутые отношения (ребенок вообще всегда плачет, когда их видит), а муж как бы всех состыковывает, к тому же он нас потом провожает. В чем вопрос: мне тяжело выдержать весь день в гостях, еще и в его "компании", и ребенка сложно уложить спать вне дома. Вобщем полдня было бы вполне достаточно, как по мне. Но он против, говорит лучше вообще не приезжайте, что толку от того, что ребенок приедет всего на 2 часа. И это вечная проблема (если б ребенок был постарше, я бы вообще туда не ехала). Не видеться с его родственниками вообще? или находиться там весь день в нервном состоянии, что мне совсем не хочется?