Как избавиться от мук совести?

Здравствуйте, помогите советом. Ситуация
следующая: совершенно неожиданно закрутился
роман с женатым мужчиной. Сперва все шло
фантастически. Он говорил красивые слова, без
конца делал комплементы и вообще вел себя, как по
уши влюбленный мальчишка. Идиллия длилась месяц,
но мне нужно было уезжать в другой город в
длительную командировку. Он спрашивал
разрешения звонить мне, говорил, что будет скучать.
И вот тут-то и начались проблемы. Попросту говоря
он пропал. За месяц позвонил лишь один раз и то в
состоянии алкогольного опьянения. Нес какую-то
чушь минуты две и поспешно попрощался. Сама я
ему не звонила и не писала, не хотела беспокоить.
Спустя две недели он был проездом в моем городе и
позвонил мне лишь для того, чтобы встретиться для
секса. Естественно, меня рассердил его эгоизм и я
решила поступить с ним соответственно.
Встретиться согласилась, а на следующий день
написала, что передумала и что у меня куча дел.
После этого он начал мне названивать, но я не брала
трубку. Теперь где-то около месяца не звонит. Я его
люблю, но не хочу лезть в его семью. Пусть он
останется со своей женой. Но при этом не могу его
забыть, очень тоскую. К тому же меня мучает
совесть за то, что я так с ним поступила. И из-за того, что он изменил своей жене. Знаю, что
стоило обьясниться, но у меня не хватило бы силы
воли сказать ему \"нет\". Что мне делать? Очень
плохо на де.