Я влюбилась, но я замужем и он женат

здравствуйте, не знаю что делать.
Я замужем уже 4 года, я люблю своего мужа, и очень хочу ребенка, но ни как не получается.
не давно я встретила своего бывшего парня (хотя ранее отношений у нас серьезных не было. была страсть, постель) мы стали переписываться, и как то встретились, потом начали все чаще встречаться, гулять, в кино ходить, и дошло до секса. мне очень хорошо с ним, я влюбилась, постоянно думаю о нем. После наших свиданий я очень тяжело от хожу, дома веду себя, холодно.
Он тоже женат, женился 3 года назад, он где то груб, настойчив и самоуверен.
муж стал ревновать, по начало сам отпускал гулять,(даже ранние упрекал, что я ни куда не хожу) так в течении всей семейной жизни, ни когда не давала повода. я считала как и все девушки которые выходят замуж. что один мужчина навсегда и никаких мужчин быть не может, я не когда,измена это не для меня. как говориться ни когда, не говори не когда.
с мужем последнее время тяжелые отношения, мало ласки, мы практически ни куда не ходим, и сексом мало занимаемся, честно говоря не только сейчас, это и было до свадьбы, он говорит, что он вот такой, ему не надо много. мне иногда казалось что он меня не любит. в течении всей семейной жизни, он толком не работает, что меня очень сильно раздражает, я стараюсь, тяну, чтоб все у нас было хорошо. не давно открыла свадебный салон, правда он очень сильно мне помог, и помогает, куда скажу съездит, какое то время с утра до вечера мы ездили. мы наверное как друзья.
я растиралась, в своей жизни, мне тяжело работать, я думаю только о другом мужчине. я понимаю что это не серьезно, я сама не хочу <a href="/category-razryv-razvod-pg-1">разводиться</a> и ни когда не хочу разбивать чужую семью.
мы с ним когда видимся или переписываемся, я стараюсь вести себя прохладно, ни когда не говорю и не пишу ласковые слова, я боюсь его от пугнуть. он первые дни писал ласковые слова, а я таяла, и ни когда не отвечала взаимностью. он работает в управляющим в клубах и кафе. и всегда возле него крутятся девушки, жена догадывается. ну наверное ничего не говорит. это с его слов, случайно при разговоре.
я сама не знаю, что хочу, я в замешательстве, с одной стороны, нам лучше не встречаться, а с другой стороны, я хочу этих встреч,я боюсь его потерять.
помогите, что делать, когда оказываешься в такой ситуации? когда понимаешь что это не серьезно, что может разрушиться семья, и не хочется от этого отказывать, а наоборот.