Почему парень не может принять ребенка?

Здравствуйте, уважаемые психологи!
Очень надеюсь на вашу помощь, профессиональную.
Расскажц кратко о себе - мне 22 года, у меня маленькая дочь, которую я воспитываю самостоятельно. Я симпатичная, стройная, мудрая девушка, при этом не считаю себя глупой или неинтересной. Встречаюсь с парнем, на протяжении 9 месяцев. Сначала у нас все было не очень то и серьезно, мы оба понимали это и воспринимали спокойно. Сейчас все перещло абсолютно на другой уровень. Мы любим друга, это не голословно я сейчас говорю, и я с дочкой недавно приезжала в гости к парню. Мы оба хотели посмотреть, проверить, как все будет происходить. И на самом деле все произошло довольно таки неприятно. Он не может принять моего ребенка, он боится дочку! У него был сильнейший стресс, аж руки дрожали. И я совершенно растеряна. Естественно, от дочки я отказываться ни в коем случае не собираюсь. Передо мной стоит другой вопрос - отказываться ли мне от парня? Дочка у меня здоровая, красивая, смышленная, интересная... Нравится всем, да только у него она вызывает страх, причем дикий, и полное неприятие. При этом он говорит, что если бы у меня не было ребенка, он бы уже давно забрал меня к себе и никогда не отпускал. Я не цепляюсь за него как за последний шанс встретить нормального мужа, да только я на самом деле полюбила его, при этом он для меня именно тот, кто нужен... Но ведь у меня дочь, а о ней я думаю в первую очередь. Думаю, следует добавить, что парень был женат, сейчас ему 24 года, а женился он лет в 20 - но когда он ушел в армию, она ему изменяла. Он этого, естественно, прощать не стал. Очень прошу помочь. И я говорю вам как вижу и как есть - я ему нужна, и он мне. (я раз пять пыталась бросать его, но это невозможно). При этом мы оба понимаем, что все идет неправильно... Спасибо за внимание!!