как жить с человеком, который потенциально вредит твоему здоровью?

День добрый! Мне 33 года. Второй раз замужем, от первого брака один ребёнок (13 лет), от второго- двое детей (7 лет и 2 года). Ситуация такая- живу с мужем 9-ый год, было всякое- и период пьянства и измены с его стороны. Вроде всё пережили, перетерпели, жили неплохо. Возможно это ещё потому, что видимся крайне мало- муж или на работе, или спит, времени на конфликтные ситуации просто не остаётся. Хотя в отпуске бывает всякое. Я сижу дома, занимаюсь воспитанием детей. Весь мой мир заключён в 4-х стенах и всё общение ограничено рамками интернета, в реальной жизни никуда не хожу, ни с кем не общаюсь, подруг у меня нету. Хотя до замужества была достаточно общительным человеком, но со временем поменялся характер. Теперь суть моего вопроса. Муж у меня любит рыбалку и периодически ездит туда с ночёвкой с друзьями, я обычно не против. Сегодня тоже уехал туда, хотя я ему сказала ещё за 2 дня, что я против этого. Не могу мотивировать почему, просто не захотелось его отпускать и всё. В конце концов закончилось это тем, что он мне мурыжил 7 часов мозги, чтобы я его отпустила, хотя я ему сегодня сказала, что очень плохо, что он не знает слова "нет" и что я его конечно не могу силой оставить дома, но мне очень бы хотелось, чтобы этот день он провёл с семьёй и что если он уедет, то я сделаю соответствующие выводы для себя про расставленные приоритеты в его жизни. В конце концов своим нытьём он меня попросту чуть не довёл до сердечного приступа (как известно вода камень точит, не то что нервную систему человека), я уже и плакала и рыдала и таблетки пила и говорила, что мне плохо, чтобы он отстал от меня и делал как хочет, он всё равно ходил следом, нудел, что хочет, чтобы именно я его отпустила, чтобы не со скандалом, а вернуться утром и всё у нас было хорошо. Я по натуре не тиран, никогда ничего ему не запрещаю, но вот сегодня решила стоять до конца и посмотреть чем всё это закончится, считаю, что в семейной жизни и в отношениях в любом случае нужно чем-то жертвовать- финансами, свободным временем, сном, ещё чем-то в пользу любимого человека. Но тем не менее, видя, что мне реально плохо (у меня слабое сердце и мне нельзя нервничать), его приставания довели меня уже до истерики,он плюнул на меня, на детей, которые его тоже просили остаться и уехал. Причём, когда я на эмоциях, ему сказала, когда он уходил, что если он сейчас уедет, то я заберу детей и уеду тоже и семьи больше не будет, и у него сейчас есть выбор- он сказал, что это неправильно и ушёл.