Конфликт с братом мужа

Здравствуйте. Сложилась непростая ситуация, я не знаю как поступить. У мужа есть старший родной брат. Человек, который отравляет всем жизнь. Он постоянно всех психологически ковыряет, его бесит когда у кого-то что-то хорошо. Должность получал, шел по головам. Живет с женой и нагло ей изменяет, живет на две семьи. Права судить у меня нет, но я не хочу, чтобы в моей жизни, близком кругу находились такие люди. У нас случилось две ссоры. Первая, мы с мужем выясняли отношения, а его брат начал в это время орать на меня и комментировать мое поведение обидными словами. И после его нападений так погано на душе. Муж сказал ему просто: замолчи. Хоть я и не хочу драк. Хочу просто, чтобы он не позволял таким экземплярам оскорблять свою жену. После этого случая я свела общение с его братом на минимум. Недавно, отдыхали вместе в караоке. Он попросил отнести его заказанную песню, я отказала. Что тут началось. Он на все кафе орал, обзывал меня, слал куда подальше. С мужем дошло почти до развода после этого. Ну, вроде пока вместе. И вот отец собирает нас вместе. А я не хочу туда идти. Вот вообще не хочу видеть этого братца. Даже голоса слышать не хочу. Мы отказались идти в гости. Я понимаю, что это его семья и я не могу лишать его этой семьи, какой бы она не была. Но я тоже не помойное ведро и мне зачем терпеть общество человека, которое терпеть не могу? А все его вопли в мою сторону были из-за неполадок со своей любовницей. Что там на жену он выливает я вообще молчу. Я запуталась и вообще не понимаю как мне дальше нужно взаимодействовать с токсичным человеком? Если наступать на горло себе, то где я в этой ситуации и мое достоинство, которое я не позволю унижать таким как он тем более...