Как справится со сковывающей паникой?

Здравствуйте. Меня беспокоят приступы паники и страха в конфликтных, или таких, которые несут потенциальную угрозу, ситуациях. К примеру, когда останавливает ГАИшник. Я уверен, что ничего не нарушил (но все ж знают, что "эти" могут и придумать нарушение), но от самого факта остановки, и потенциальной угрозы у меня начинают трястись руки и ноги, начинаю заикаться, не могу связать двух слов. Аналогичные "симптомы" в ситуациях, когда на меня повышают голос или в различных формах угрожают: начальство, клиенты по работе или просто незнакомые люди в бытовых ситуациях (в транспорте, в магазине и т.д.). При этом порой огрызнутся я могу, но не более... о каком-то споре или отстаивании своей позиции речь не может идти. Физически постоять за себя я также не способен. Чувствую себя боягузом, слабаком, униженным...
Я такую свою реакцию связываю с неуверенностью и низкой самооценкой. + анализируя свое детство/юношество - было несколько ситуаций, когда меня окружало несколько человек и угрожая применением физической силы требовали денег, либо просто поиздеваться, как это бывает у школьников. Я уже не помню подробностей, но каким-то образом я избегал драк (вернее побоев). К этому у меня никогда не было друзей, которые могли бы за меня заступится. И по видимому такая робость была единственным защитным механизмом. Но я вырос и пора бы научится отстаивать свои права и точку зрения.
Также, возможно, некое влияние произвели ссоры, крики (на грани драк) в семье (в детстве я жил в одной квартире с мамой, ее сестрой, бабушкой, дедушкой). Т.к., иногда описанные выше "симптомы" проявляются в ситуациях напрямую со мной не связанных, т.е. когда кто-то из моих близких ругается с другим человеком.
Вопрос в следующем: как мне справится с приступами сковывающей меня паники во время конфликтных или потенциально опасных ситуаций? Как совладать со своим телом и разумом? Как научится постоять за себя?
П.С. Спортом заниматься не могу по состоянию здоровья...