Не могу принять его ребенка

Я живу с человеком у которого от первого брака есть ребенок. Сын 5 лет. Когда мы начали встречаться он ежедневно проводил вечера с сыном. Я могла рассчитывать на него только когда он освободится. Мы стали жить вместе - ничего не изменилось. Каждый вечер был по прежнему посвящен ребенку. Только если он не заболеет. Я уже начала хотеть, чтобы он болел, чтобы с ним что-нибудь случилось... И понимала, что это неправильно. Через полгода сказала об этом своему мужчине. И он был очень удивлен том, что мне не хватает его внимания. Но согласился чуть сократить время общения с сыном. До трех раз в неделю. Периодически он приводит его жить в нашу квартиру. На неделю. Потому как его мать не может с ним быть в силу личных обстоятельств. Она не болеет, с ней все нормально, она просто уезжает по делам. И это всегда не вовремя. Прошел год. Меня это доводит уже до бешенства.. Не знаю что делать..