Назойливые соседи

Добрый вечер! Подскажите, пожалуйста, что делать, если мне не нравится общение моего мужа с соседями.
Соседи живут в доме напротив. Они переехали туда год-два тому. Раньше мы не общались. Мой муж знаком с соседом (назовем его М) по работе. М очень назойлив, любит поговорить и выпить. В последнее время они начали передавать нам какие-то продукты, конфеты и т.п. (хотя мы ни в чем не нуждаемся, финансово всё ок) и стали приглашать моего мужа в гости. Раньше он морозился от них, а теперь ему как-то не удобно ( типа, они же нас чем-то там угощают, а ещё и ребенка крестили вместе с соседкой). Теперь они подлавливают моего мужа на улице ( он часто выгуливает собаку) и зазывают на 'чарочку'. Мне это общение не по душе. Потому что их семья 'не очень благополучна'. Я имею ввиду, что они из семьи пьющих. Запретить мужу ходить в ним, я не могу, т.к. он не видит в этом ничего плохого. А я стараюсь держаться подальше от таких людей. Подскажите, как себя вести? И что я могу сделать?