разные взгляды на жизнь или я глупая?

Здравствуйте. С моим молодым человеком мы вместе уже больше трех лет, но есть одно важное обстоятельство - мы живем в разных городах(я уже училась, когда мы начали встречаться). Он достаточно скрытный, сдержанный человек, очень практичный. Просто расскажу ситуацию, которую мне со своей стороны было очень просто оценить, но после разговора с ним, я уж во всем начала сомневаться. Когда я приезжаю, то естественно живу у него. Как-то мы пошли гулять с друзьями, когда пришло время расходится по домам мы стояли на улице уже со всеми попрощались и я остановилась на несколько минут(знаю женские преувеличения, но это действительно были минуты), когда я повернулась моего милого и след простыл, я решила что он куда то отлучился и осталась ждать. Друзья разошлись. Я начала звонить, оказалось он разозлился, что я не пошла с ним, а разговаривала с подругой(он был не очень трезв). Он шел далеко впереди и хорошо, что я разглядела его, так как было уже очень поздно, а я совершенно не знала того района куда мы приехали. Инстинкт самосохранения взял верх и я пошла за ним, что бы не остаться ночью одной. За всю дорогу я выслушала от него много гадких вещей, он прогонял меня, издевался. Я решила идти просто на расстоянии. На утро он сначала вел себя спокойно и сдержанно, потом все таки начал извинятся. Я боюсь, что эта ситуация показывает его неумение совладать с собою и из за пустяка подвергнуть меня опасности.
Эта ситуация произошла около года назад. . И я вспомнила эту историю. Но сейчас он начал меня обвинять в том ,что я сама его тогда разозлила, и вместо того что бы идти с ним, стояла и болтала полчаса...Меня это очень обидело. Вообще с ним редко получается поговорить на тему отношений, он закатывает глаза и говорит, что я зануда и разговор его утомил. Если же попробовать настоять, он начинает злиться. Так вышло и в этот раз. Я чувствую, что он понимает, что не прав, но не может это признать(а может я и ошибаюсь), а вместо этого все сваливает на "женскую глупость", говорит, что я умнее и постепенно начинает грубить. Я уже и сама не рада, что вспомнила(причем в качестве отвлеченного примера, согласна, что неудачно, не ожидала услышать такого) Как мне быть? Я хочу все таки понять его, но говорить на эту тему уже опасно.Знаю, что он просто начнет злиться.Но я не хочу оставлять это так, кажется это нужно решать сейчас, но не знаю как.