Отношения с мужчиной-коллегой

Здравствуйте. У меня такая непроста я ситуация. Где то около года назад наша компания начала тесно сотрудничать с одним госучреждением. Я как раз и являюсь связующем звеном в этом сотрудничестве. Живу в небольшом городке, потому некоторые сотрудники мои давние знакомые, которые знают что я в разводе. Но в новости своей личной жизни ( что уже есть новый мужчина и т.д.) я их не посвящала. Ситуация произошла с их руководителем. Он приехал недавно, никого тут не знает. При знакомстве ощутила некую симпатию с его стороны. Потом через время он постепенно перешёл на лёгкий флирт. Я понятно, что тоже как то на него (в пределах допустимого) отвечала... И мы достаточно неплохо работали. Но тут произошла ситуация, когда (спустя год общения!) мы остались один на один, и он начал намекать на какие то личные отношения, что типа Вы давно мне нравитесь.... Я как могла, деликатнее сказала, что мне приятно, но нет. Дальше пошел уже не очень приятный разговор про то, что ему его сотрудницы сказали что я в разводе и что я им говорила что хотела бы с ним отношений... На что я ( эмоции от услышанного зашкаливали! )вывалила всю правду: что есть мужчина, что у меня к нему только уважение и рабочие планы и т.п. Он от этого разговора отходил пару дней. Потом сказал, что все ок, понимает. Но все не ок. Рабочие моменты воспринимаются вштыки, постоянные споры. Как дальше быть? Работать нужно. А как?