Как поступить?

Люблю коллегу по работе, уже пол года. Она отвечает мне взаимностью, и все было бы ничего, если бы не одно НО - я женат, имею двоих детей. С женой отношения закончились давно, 4 года назад, жили ради детей, но ежедневно мучили друг друга.
Так вот, любимая не дает развиваться отношениям, потому, что "не может строить их с женатым мужчиной", но и не отталкивает. Вижу, что тоже страдает, "плачем вместе" при каждой встрече. Оговорюсь сразу, что до интимных отношений еще не дошло - я не настаиваю, да и начинать с этого считаю нельзя.
Уйти сейчас из семьи не могу - они слишком от меня зависят. Пока не поменяем жилье, чтобы могли себя обслуживать сами этого делать нельзя (сейчас живем в частном доме далеко от школы-садика). Жена все знает. Перед ней у меня гигантский груз вины. Знаю каково это когда бросают и от этого еще хуже. Пока живем вместе. Это лишь усугубляет ситуацию. Говорит даст <a href="/category-razryv-razvod-pg-1">развод</a> когда перевезу в новый дом/квартиру.
Понимаю, вопросы получаются глобальными, но... Как поступить, как вести себя с женой, какую линию поведения занять, чтобы меньше мучить ее? Как не потерять девушку которую Люблю?

Мне очень нужна ваша помощь.

ps
C женой у нас разница в возрасте 10 лет. Она очень хороша собой и Достойна счастья. Мне горько думать, что украл 8 лет ее жизни чтобы забыть первую любовь... Не жалею только о детях.