Верно ли понимаю ситуацию?

Бывший парень просит оставить в тайне то, что мы с ним общаемся. Потому что якобы не хочет причинять боль близким людям, а именно маме, которая против наших отношений. Но мне кажется, что причина не в этом. После нашего разрыва он негативно отзывался обо мне в компании своих друзей. И мне кажется, что если друзья узнают, что мы общаемся, это поставит под сомнение его предыдущие слова обо мне. "Ты же говорил, что она плохая, а почему ты снова общаешься с ней?". Подскажите, правильно ли я рассуждаю, или это всего лишь моя параноя? И что мне делать в такой ситуации? Прекратить общение с этим человеком или поговорить, объяснив всю ситуацию?

П.С. Один из его друзей - мой бывший парень, который отзывался обо мне тоже негативно.