Что делать когда мой мужчина тесно общается с бывшей женой?

Мы встречаемся уже третий год, живем вместе.Большая разница в возрасте - 30лет. У нас очень хорошие отношения, он меня уважает, во всем поддерживает, заботится и я для него очень стараюсь, научилась готовить всякие вкусности и многому учусь, стараюсь его удивлять и радовать...В постеле у нас тоже все отлично. В комплиментах он не многословный, некогда не говорил что любит, говорит, что он так никому не говорит... Но однажды сказал, я ему очень нравлюсь, и что я ему очень дорога и я ему верю.. Есть у него дети от предыдущих двух браков, младшей дочери 11, и он очень тесно общается со своими детьми и последней женой, он даже три раза в неделю точно у них ужинает. Меня это очень обижает.. Я и понимаю, это очень хорошо, что он общается с детьми, во всем им помогает и жене,и не так просто взять и поменять свой привычный образ жизни, но мне кажется должны быть какие-то границы и если он пытается строить отношения со мной, должен менять свой образ жизни. Мы встречаемся тайно, так как он боится, что меня загрызут, его детии жена и что будут осуждать(во всяком случае он так говорит), а я уже не знаю чему верить. Хотя когда наш сосед проговорился его бывшей жене, о том, что у него есть я, там семья такую бучу подняла, мол " Да как ты можешь, тебе на семью нашу совсем плевать, ведешь двойную жизнь и т.д." Он просто замял эту историю и переждал. В общем обо мне примерно знают, я о них наслышана тоже, но знакомить Олег нас не спешит.. У меня иногда чувство, что я встречаюсь с женатым мужчиной, но ведь это не так, он уже лет девять как холостой, по факту, а по сути иногда чувствую себя любовницей, хоть он это отрицает, говорит, что я ему дорога.. Олег говорит, что сейчас не время, нужно подождать, он знает что делает, и так уже третий год, я называю это лапшой, хотя и хочу очень хочу в это верить.. В общем умом я не очень вижу перспективы этих отношений, а сердцем верю, что что-то изменится и очень хочу, чтобы все изменилось... Может мне нужно самой что-то для этого сделать, но я не знаю что, не знаю как поступать, чтобы не обидеть, не спугнуть. Хотя прорывы у нас уже есть, он очень медленно но старается идти мне на уступки, но на очень маленькие. Второй Новый год он отмечал, с детьми и женой, хоть до последнего обещал по думать, а я всю ночь его ждала, на рыдалась ужас, потом просил прощения. Может вы что-то можете посоветовать, подсказать, я уже вся извелась, то пытаюсь его оправдывать и верить, то просто теряю надежду...