Как аккуратно завершить отношения с любовником?

Здравствуйте. Могу ли я Вам задать один вопрос... Меня беспокоит очень затруднительная ситуация.
Почти год назад, я вступила в отношения с женатым мужчиной (сама я тоже замужем). Он очень долго добивался меня, я сдалась, решила, что это будет простая интрижка, но на деле все оказалось куда сложнее. Мужчина влюбился в меня по-настоящему. Стал за мной ухаживать, мы работаем на одной работе. Я всячески отталкивала его, но он стал, будто одержимый мною. Начал ограждать меня от остальных коллег мужчин. Позже, я твердо сказала, что не хочу иметь с ним ничего общего, потому, что он женат, но он начал угрожать, напился, говорил, что любит, что не бросит и прочее. Он познакомился с моей семьёй, втерся в доверие. Муж совсем не подозревает.
Он действительно очень хорошо относится ко мне, даже к мужу, к моим дочерям (особенно младшей), но он каждый раз говорит о своей жене, заставляет меня нервничать, ревновать, сравнивает меня с ней, а после извиняется и говорит, что любит меня, но и ее тоже. Он не отпускает меня, не позволяет сделать и шагу. Угрожает, мол если познакомлюсь с кем-то ещё, причинит ему боль и мне тоже.
Почему я изменяю мужу? Потому, что он вызвал во мне отвращение. Весь наш совместный брак, он пил, брал меня силой, но из-за своей доброты, я его прощала на протяжении 31 года. А здесь... Появился мужчина, который разбудил во мне настоящие чувства, заставил чувствовать себя любимой.
Я надеялась, что все завершится мягко, что он после первого секса бросит меня, но нет. Мне тяжело, больно, я не могу дальше продолжать отношения... Он женат, а мое воспитание не позволяет мне идти дальше. Ещё у нас разная вера, но это не особо влияет на взаимоотношения. Я хочу попросить совета, как мне завершить отношения с этим мужчиной? Ведь когда заходит об этом речь, после он может наломать дров. Я тоже испытываю к нему чувства, но давление с его стороны не позволяет нормально контактировать. Он постоянно говорит о своей семье, мне больно это слышать. Я хочу порвать, а он не отпускает. Как мне завершить эти отношения, как можно осторожнее?