Ответственность за чувства других людей

Добрый день! Заметила за собой, что чувствую ответственность за чувства других людей. Когда хочу перестать общаться с человеком, иногда жду, когда он сам потеряет интерес, чтобы не делать ему больно. Так не со всеми, но бывает. Иногда даже чувствую вину за то, что хочу перестать общаться. Начинаю общаться с человеком, теряю интерес, понимаю, что человек мне не подходит. Хочу прекратить общение, а этот человек за две недели ко мне «привязывается». Была ситуация, сказала человеку, что мне неинтересно и что хоч прекратить общение вовсе. Он такой: «Да хорошо, я тебя понял». Потом снова стал писать… я ему снова все лбьяснила спокойно.. Он опять: «Я к тебе так привязался… а вот ты… как ты так быстро забыла все.. наше общение было просто шуткой для тебя? Что мне теперь делать?»
Начинаю в себе сомневаться немного, но все равно стояла на своей и уже более менее грубо ответила, чтобы человек меня не трогал. Прошло две недели, а он уже чуть ли меня смыслом своей жизни не сделал… Так неприятно от этой мысли… И вот мой вопрос. Как избавиться от чувства вины и отвественности за чувства других людей ?