брат моего парня не дает нам спокойно встречаться

Здравствуйте!У меня возникла бредовая проблема, не я не мой парень не знаем как быть.
У моего парня есть старший брат(разница 4 года)он меня ненавидит, так как за меня ходили какие то не положительные слухи.Когда я только начала общаться со своим парнем ,его брат поставил ему условия либо он либо я...Но мы все равно продолжили общаться в тайне от него, полюбили друг друга и спустя пять месяцев мой парень решил рассказать ему всю правду, реакция была не из лучших.с тех пор он не дает нам покоя мы не можем приходить туда где его брат, потому что он на меня огрызается а когда просто видит нас начинает что то высказывать моему парню, припоминать тот ультиматум и т.п Мне не приятно что мой парень теряет брата он переживает и все из-за меня.как быть подскажите я вообще не понимаю что делать...