Растет напряжение в общении с бывшим мужчиной

Добрый день! Коротко о себе: мне 35, была в браке, детей нет (в браке не было по обоюдному желанию). У меня полгода был роман с коллегой (он младше меня на 3 года). Нравились мы друг другу давно, но отношения начались не сразу. Условия для «старта» были плохие – я тогда была еще несвободна, к сожалению. Молодой человек, правда, уйти к нему не предлагал, но давал основания к тому, что мы будем вместе. Уделял много внимания, заботился, был очень рад. Месяца четыре было все хорошо, потом отстранился. Я не сразу забеспокоилась – мы оба много работаем, у каждого есть свое пространство. Но когда я увидела, что его отношение и поведение изменились, то поняла, что все идет на спад. Попытки прояснить ситуацию были неудачными, я слышала только, что я накручиваю. Но в один день он разорвал отношения. Он сказал, что разобрался в себе и понял, что он меня не любит. И хотя я ему очень нравлюсь и ему со мной хорошо, но менять свою жизнь он не готов. Видит, что я его люблю, но он хочет сам любить – как он любил своих бывших и тп. При этом я к долгосрочным обязательствам после своего брака не готова сама, и его не обязывала. Мне было очень плохо, и я пошла к психотерапевту, он подобрал мне курс лечения. Мне стало лучше. Прошло полгода, с этим человеком я свела общение к минимуму, но между нами до сих пор есть рабочие обязательства, и в последнее время рабочее общение приобретает личный характер. В первые месяцы после разрыва такого не было. Стал заявлять мне, что я утверждаю, что он - плохой сотрудник, что «знают уже все» (?), и тд. Поводов я не давала, оснований у него нет, я уверена. Прошлого не касаемся, но может бросить мне, что от меня «идет один негатив», «куда я только смотрел, это бес меня попутал». То «у него пелена с глаз упала», то он «благодарен Богу, что выскочил из этого болота, а то эта трясина меня бы затянула», или «вот это и есть твое истинное лицо». Причем я не понимаю, в чем проблема. Он уклоняется от ответа: «сама знаешь» или не отвечает. Придирается к моей работе (но мы с ним на одной должности). Я редко с ним общаюсь, на работе не рассказывала никому, знает только сестра и самая близкая подруга, не из моего рабочего круга, я им доверяю. Но, несмотря на все негативные эмоции из-за такого общения, чувства к этому мужчине не уходят, мое отношение не меняется, я скучаю по нему, но общения не ищу. А его такое отношение ко мне повышает напряжение между нами. Я нервничаю, сдерживаюсь, но не знаю, как лучше выйти из такой ситуации? Не хочется менять работу.