Как мне себя вести?

Встречаюсь с мужчиной уже больше года. У него от первого брака есть дочь, 11лет. И как-то так получилось что с дочерью он видится только под присмотром мамы (бывшей жены). Если хочет отвезти дочь в зоопарк то и маму тоже нужно везти. Он говорит что малая просто не привыкла без мамы. Со мной общаться никто не хочет. Дочь ревнует, а бывшая жена и не настаивает. Меня же жутко бесят его походы туда , и их совместные прогулки. Мне не понятно почему нельзя взять ребенка и поехать с ним погулять, но без мамы! И тем более почему нельзя чтобы при этих встречах была я? Прошлым летом была ситуация мы решили все-таки поехать в совместную прогулку (я, мой мужчина, его дочь и ее мама). Все вроде было нормально до тех пор пока малая не узнала что буду и я там. Ира (бывшая жена) говорит что малая устроила истерику и отказалась куда-либо ехать. И она мол ничего не может сделать. Мое мнение такое что это все проделки бывшей жены.
Как мне себя вести? Что можно сделать чтобы хотя-бы как-то изменить ситуацию?