Разлюбил жену

Я женат уже более 9-ти лет, женился в 19, после окончания ВУЗа, с женой до этого дружил 2 года, почти сразу родился первый ребенок. Когда сыну было 3 года жена уехала в США на 4 месяца, в летний лагерь, я был против. В тот период я начал общаться со старой знакомой по работе, в тот момент она была вдовой с дочкой 3-х лет. В процессе общения мы сблизились, но она оттолкнула меня, она с женой училась в одном классе и довольно близко общались в 5-6 классах. Около полугода мы сознательно не общались друг с другом, но при первой же встрече мы снова были вместе около 3-х месяцев. После она вновь исчезает из поля зрения, и через некоторое время я узнаю, что она беременна и выходит замуж за другого. В этот период у нас налаживаются отношения с женой, и она беременеет во второй раз. Через пару лет после рождения второго сына, отношения с женой вновь ухудшились, ссоры возникали без причины, после каждой ссоры жена грозилась развестись. И тут я вновь встречаю бывшую любовницу, узнаю, что она развелась и у нас вновь начинаются отношения, точнее я их навязываю, она не хочет отношений по причине того, что я женат. В данный момент я не знаю, что мне делать, я понимаю, что порой идеализирую свою любовницу, но жену я не люблю, мне тяжело бросить семью из-за детей, но жить с человеком которого не люблю довольно тяжело.
Подскажите как быть?