Rafał Milczarski ukończył wydział ekonomii Uniwersytetu Cambridge. W czasie studiów odbywał praktyki m.in. w banku UBS w Zurychu oraz JP Morgan w Londynie. Ma bogate, międzynarodowe doświadczenie w branży transportowej. Po studiach pracował w dziale logistyki morskiej i kolejowej firmy Foster Yeoman Limited z Wielkiej Brytanii.

Współtworzył Kolej Bałtycką S.A., jednego z pierwszych prywatnych kolejowych przewoźników towarów w Polsce. W 2005 roku wraz z inwestorem branżowym Freightliner Group z Wielkiej Brytanii założył firmę Freightliner PL - towarowego przewoźnika kolejowego. Jest też założycielem i byłym prezesem Freightliner DE, niemieckiej spółki zależnej Freightliner PL oraz Związku Niezależnych Przewoźników Kolejowych.