Подскажите как мне быть?

Здравствуйте. У меня гр. Жена и сын. Жена не уживается с моей мамай в одном месте. Живу в основном с мамай. Но с женой мы не в разрыве. Она живет с сыном у себя дома в др. городе со своей мамай, а я у себя дома. Жена и моя мама общаются нормально друг с другом, когда на расстоянии или когда, я с семьей приезжаю в гости к маме.
Когда я живу с мамай, мне плохо от того, что я не с своей семьей. Но, когда я живу с женой и сыном, мне плохо, что я не с мамай. Постоянно думаю, как она или они там без меня, как бы хотелось помочь им/ей. Но совместить их не возможно, уже пробовали два раза, доходило все до скандалов. Подскажите, как быть в данной ситуации мне? Чтоб я был со своей семьей и не чувствовал вины и тревоги от того, что я не живу с мамай? Или возможно на оборот! Меня мучает постоянное чувство тревоги за не реализацию собственной ответственности перед мамай, когда я не с ней и перед женой с ребенком, когда я не с ними! Возможно есть способ совместить дорогих мне людей? Или, возможно есть способ, чтоб я успокоился и не терзал себя за то, что я не рядом с кем либо из них в данное время? Подскажите, как быть?