не знаю что я к нему чувствую

Возможно, Вам нужно разобраться в самой себе, ведь то, что Вы ревнуете его и Вас «тянет» к нему может говорить о вашем неравнодушии, в котором Вам сложно признаться себе.
Возможно то, что он подразумевает под «все», придет и к Вам, но позднее, когда Вы сможете раскрепоститься, а не останавливать себя «отстранением» (часто человек «отстраняется», чтобы потом не «отстранили» его…).

Добрый день.
Возможна и такая версия: ревность часто означает нехватку внимания. И естественно, если вы столько лет были близки, сейчас Вам не хватает Вашего друга, и Вы ревностно относитесь к тому, что кто-то получает то внимание, которое получали Вы. Ревность может возникать как в романтических отношениях, так и в просто близких дружеских.
Мне кажется, что Вы достаточно честно поступаете, говоря о своих намерениях и чувствах. Возможно что-то изменится, а возможно и нет. Вы не даете ложную надежду, если проясняете свое отношение. Может быть, Ваш друг продолжит общаться с Вами, ведь ему наверняка тоже не хватает вашего общения. А может он выберет отстраниться, чтобы не раниться. Это грустно, но так действительно бывает. В таких случаях остается проживать грусть и искать поддержку у тех людей, которые могут ее Вам дать.