Стоит ли мне с ним даль общаться вообще?

Пол года назад я познакомилась с парнем. Он младше меня на 4 года, разведен. Мы периодически виделись, вместе ездили гулять и все время до утра. Потом он пропадал, потом опять появлялся. через 1,5 месяца мы переспали.... Он пропал на 2 недели, однажды ночью я ему позвонила, он был в нетрезвом состоянии говорил, что соскучился, что хочет сейчас приехать, но я не разрешила в итоге мы проговорили до утра... Дальше мы продолжали опять общаться периодически видеться и спать... На мой день рождения он приехал ко мне(о том что у меня день рождения он узнал в тот же день)без подарка и отвез меня в другой город так как я его об этом попросила, к моим подругам... Ночью он приехал к нам в кафе и забрал меня к своим друзьям в ресторан, где мы продолжили отмечать утром он отвез меня домой и опять пропал на 4 дня. Моя работа была связана с его и когда меня впервые увидели его коллеги, он был горд тем как они восхищались мной, о чем сам мне рассказал.Дело в том что мы живем в небольшом поселке и сплетни распространяются всегда.... И вот одна заинтересованная в нем особа, которая кстати старше его на 7 лет, разведенная и с двумя детьми начала рассказывать ему обо мне всевозможные гадости, что я гулящая, что я слабая на "передок" и т.д. и т.п., а он тут недавно работает и сам вообще из другой области. Я стала понимать, что он начал верить во все это... Прошло время и у меня на работе произошли серьезные неприятности из-за которых меня уволили, в данной ситуации, когда он узнал я действительно увидела с его стороны настоящую поддержку, он даже пытался использовать свое положение на работе для того что бы меня не уволили. (он работник прокуратуры, а я юрист гос.учреждения)Потом пообещал, что бы я не расстраивалась и сказал, что нашел для меня работу намного лучше, но об этом мы поговорим позже. Прошли выходные, он мне не звонил... я позвонила ему первая и спросила по поводу работы. он мне холодно ответил, что ни о какой работе ничего не знает и что он такого мне не говорил.. меня как холодным ведром окатило,я извинилась за беспокойство и попрощалась. Больше он не звонил. А сегодня я узнала, что перед тем как я ему последний раз звонила он виделся с той девушкой, которая пытается сделать из меня , извините за выражение последнюю суку. И вот теперь не знаю как мне быть? Стоит ли с ним поговорит о том, что про меня рассказывают или просто больше не общаться? Хотя так обидно... я никогда никому не делала пакостей, но у меня сейчас такое ощущение, что весь мир против меня.