Мій чоловік не сприймає мого минулого

Від попереднього шлюбу у мене двоє дітей. Звичайно, їх тато (колишній чоловік) приїжджає щоб побачити дочок та деколи забирає їх на вихідні.
Мій нинішній категорично не сприймає того, що у мене було життя до нього і винить мене у цьому. Він думає, що я навмисно зустрічаюся з колишнім, і що взагалі хочу до нього повернутися. Кажу: ну то виведи малих сам, я не буду з ним бачитися.
Він не хоче.
Ще він вимагає, щоб колишній не наближався до дому. Я передала прохання і сказала близько до дому не під’їжджати. Все одно не вгодила - бо не достатньо далеко від дому став (хоча він став за декілька дворів).
Я уже пояснювала усіма можливими способами, що це життя в минулому, і що нема жодних підстав вважати, що я хочу повернутися в те життя. Нічого не діє. Усе тільки від випадку до випадку триває.
Я не роблю нічого поганого, я не розумію як мені бути. Я не можу повністю припинити спілкування з ним: у нас спільні діти, і ми спілкуємося виключно з приводу них.
Мій нинішній мені погрожує ще й тим, що «а я теж почну спілкуватися з колишніми і я знайду причину для цього». Або «все буде взаємно».
Я просто у відчаї і не розумію як мені бути