Magistrat miasta Wilna wyznaczył na ten cel powierzchnię 3,51 ha przy drodze z Popławów do Rybiszek na przedmieściu zwanym Rossa. W 1820 roku misjonarze otoczyli cmentarz murowanym ogrodzeniem. W 1841 roku zbudowano kaplicę w stylu gotyckim. Obok kaplicy były katakumby, które zostały zniszczone przed drugą wojną światową. Po zamknięciu kościoła, cmentarz przekazano parafii św. Jana (1844).
Wchodząc na jego teren przechodzimy obok grobu serca marszałka Józefa Piłsudskiego i jego matki. Na czarnej granitowej płycie, dzisiaj już w paru miejscach wyszczerbionej, wyryto napis: "MATKA I SERCE SYNA". Widnieją też na niej słowa z poematów Słowackiego "Wacław" i "Beniowski": "...Ty wiesz, że dumni nieszczęściem nie mogą Za innych śladem iść tą samą drogą". poniżej zaś:
Kto mogąc wybrać, wybrał zamiast domu
Gniazdo na skałach orła, niechaj umie
Spać, gdy źrenice czerwone od gromu
I słychać jęk szatanów w sosen szumie.
Tak żyłem.
Obok leżą polegli w walkach o Wilno żołnierze. Są tu groby z lat 1919-1921, 1939 i z 1944.
Na Rossie znajdują się groby wielu osób zasłużonych dla kultury polskiej, litewskiej czy białoruskiej. Leżą tu polegli w walkach o Wilno w latach 1919-1920 żołnierze. Najciekawsza pod względem historycznym jest tzw. Górka Literacka a pod względem artystycznym to Anioł Śmierci na grobie Izy Salmonowiczówny, Weroniki Korwin - Milewskiej, Józefa Montwiłła i pomnik Joachima Lelewella.
