Legenda łączy powstanie kaszubskiej Kartuzji z barwną opowieścią o urodziwej niewieście przepełnionej pychą, która uważała, że jej uroda przyćmiewa nawet wizerunek Matki Boskiej.
Pierwsi kartuzi przybyli z dalekiej Pragi w te dzikie leśne ostępy około roku 1380. Jak chce historia, klasztor erygował pomorski szlachcic Jan z Różęcina w dowód ekspiacji za popełnione w młodości zabójstwo.
Jednak legenda łączy powstanie kaszubskiej Kartuzji z barwną opowieścią o urodziwej niewieście przepełnionej pychą. Podobnie jak czarownica z bajki o Królewnie Śnieżce, dumna szlachcianka z rodu fundatora uważała się za najpiękniejszą, twierdząc, że jej uroda przyćmiewa nawet wizerunek Matki Boskiej z zamkowej kaplicy. Nie mogąc uzyskać od służącej potwierdzenia wyższości swego wdzięku, pani z Różęcina wypowiedziała niefortunne zdanie: "Niech mnie diabli porwą, a muszę być piękniejszą". Jej prośba została przez Złego natychmiast spełniona, a spadający na ziemię pantofelek miał wyznaczyć położenie późniejszej, zadośćuczyniającej bluźnierczym słowom Kartuzji.
Miejsce wybrane przez pierwszego przeora, Jana Deterhusa, musiało być szczególnie urokliwe, skoro nową siedzibę nazwano Paradisus Beatae Mariae Virginis, czyli "Rajem Maryi" . Mieszkali w nim nie tylko ojcowie eremici, ale i konwersi, czyli bracia laicy. Poza obrębem klasztornych murów przebywały osoby świeckie, tzw. prebendarze, którzy za przekazane na rzecz Kartuzji dobra mieli zapewnione dożywocie.
Przez stulecia rytm dnia i nocy wyznaczały modlitwy odmawiane podczas godzin liturgicznych. Każdy z mnichów mieszkał w osobnym domku - eremie.
Zgodnie z surową regułą zakonu św. Brunona, w zgromadzeniu panował duch umartwienia i pokuty oraz pełnego oderwania się od rzeczy doczes-nych. Mnisi zachowywali milczenie, wymieniając między sobą wyłącznie słowa "memento mori" . Jedynie podczas odbywających się dwa razy w tygodniu wspólnych spacerów mogli ze sobą rozmawiać bez szczególnych ograniczeń. Według rodzimej tradycji przechadzki odbywały się wzdłuż brzegu jeziora w miejscu obecnego Gaju Świętopełka.
Asceza obejmowała zarówno umysł, jak i ciało. Zakonnicy w eremach dzielili swój czas pomiędzy modlitwę, studiowanie Pisma Świętego i dzieł Ojców Kościoła oraz pracę polegającą na przepisywaniu ksiąg bądź pielęgnowaniu ziół i kwiatów rosnących w małych ogródkach przy celach. Nosili białe habity symbolizujące niewinność i pokorę, pod które wkładali koszulę i ostrą włosiennicę. Obce im były również rozkosze podniebienia. Kartuzi byli jaroszami, ponadto w poniedziałki, środy i piątki obowiązywał ich post o chlebie i wodzie.
Od samego początku kartuskiej fundacji sprzyjał zakon Najświętszej Maryi Panny, ówczesny rzeczywisty władca kaszubskich ziem. W roku 1386 Krzyżacy przekazali na rzecz Kartuzów część własnych dóbr, obejmującą tereny wokół jeziora Wielkie Grzybno. Opiekę nad budową pierwszego murowanego kościoła sprawował Jan Thiergart, kupiec gdański, a zarazem plenipotent zamorskich interesów handlowych zakonu krzyżackiego, fundator eremu.
W uroczystym zaprzysiężeniu traktatu drugiego pokoju toruńskiego (1466), wieńczącego zwycięstwo Polski nad Krzyżakami, brał udział między innymi przeor Raju Maryi, ojciec Kasper. Król Kazimierz Jagiellończyk zatwierdził dobra klasztorne i zwolnił kartuzów od wszelkich ciężarów.
Zaczął się kolejny okres rozkwitu konwentu. Przerwała go dopiero reformacja. Pierwszy napad luteranów na klasztor miał miejsce we wrześniu 1524 roku. Sprofanowano kościół, zniszczono archiwum klasztorne, torturowano przeora, ekonoma i mnichów.
Dwa lata później król Zygmunt I Stary nakazał ściąć przywódców rewolty i potwierdził kartuskie przywileje. Raj Maryi się jednak wyludnił, a klasztor przejęli cystersi z Oliwy. W listopadzie 1589 roku udało się biskupowi włocławskiemu Hieronimowi Rozrażewskiemu ponownie osadzić kartuzów.
Odrestaurowany klasztor został znów doszczętnie złupiony w roku 1626, tym razem przez wojska króla szwedzkiego Gustawa II Adolfa.Kartuzi jako zakon kontemplacyjny mieli nie tylko zakaz prowadzenia działalności duszpasterskiej, lecz także wykonywania wszelkich prac polowych. Gospodarka klasztoru spoczywała na barkach braci konwersów oraz mieszkańców wiosek należących do Raju Maryi.
Skromni mnisi mieli ogromne zaplecze materialne. W roku 1772 do klasztoru należało około pięćdziesięciu wsi, dziewięć młynów, dwadzieścia karczem, liczne domy i spichlerze oraz jedenaście wielkich borów i czterdzieści jezior. Te ostatnie dzierżawiono arendarzom, którzy trudnili się rybołówstwem, w zamian dostarczając zakonnikom pieniędzy i świeżych ryb. W mniejszych przyklasztornych stawach łowiono dla potrzeb konwentu węgorze i raki. Kartuzi kupowali także ryby morskie, szczególnie suszone bądź wędzone łososie, śledzie, jesiotry i dorsze.
Bogactwo klasztoru odzwierciedla zachowany do dziś wystrój kościoła, pochodzący głównie z XVII wieku. Na szczególną uwagę zasługują bogato rzeźbione stalle . Symbolika drewnianych płaskorzeźb, figur i obrazów przypomina główne tajemnice wiary, nieustannie rozpamiętywane przez kartuskich mnichów. Pozornie wszystko nasuwa myśl o przemijaniu i śmierci: obrazy ukrzyżowania Chrystusa i zdjęcia z krzyża; symbole męczeństwa prezentowane przez figury apostołów; płótno ze sceną zamordowania zakonników kartuskich przez husytów, a nawet relikwiarze oraz dach kościoła z roku 1733 w kształcie wieka trumny.
A jednak w murach świątyni data śmierci każdego świętego obchodzona jest jako dzień narodzin dla nieba, a znajdujący się w ołtarzu głównym obraz wniebowzięcia Matki Boskiej staje się wyobrażeniem przyszłej niebieskiej chwały.
Oderwani od spraw codziennych, zatopieni w modlitwie pomorscy kartuzi nie uniknęli jednak bolesnej rzeczywistości. W roku 1651 w klasztorze nocował król Jan Kazimierz. Był ostatnim odwiedzającym Kartuzję prawowitym suwerenem tych ziem. Po nim przez klasztor wielokrotnie przetoczyły się w XVII i XVIII stuleciu oddziały szwedzkie Karola Gustawa i Karola XII oraz wojska rosyjskie.
Po rozbiorach władze pruskie przeprowadziły kasatę klasztoru i konfiskatę majątku w roku 1823.
Istniejąca przy klasztorze osada zaczęła się rozwijać szczególnie w XIX wieku. Poza grupą pruskich urzędników zamieszkiwali ją Kaszubi, trudniący się głównie rolnictwem, rybołówstwem i rzemiosłem.
Przeprowadzona przez władze w ramach Kultur-kampfu silna akcja germanizacyjna nie przyniosła spodziewanych wyników. Miejscowa ludność z determinacją broniła mowy, tradycji i obyczajów. Jednak najwyższą cenę za przywiązanie do polskości zapłacili Kaszubi podczas II wojny światowej. Hitlerowcy wymordowali tysiące osób, w tym wielu księży i przedstawicieli inteligencji, ludność zbiorowo zsyłali na przymusowe roboty bądź wysiedlali do obozów w Potulicach i Stutthofie. Okupant zniszczył wiele narodowych pamiątek i pomników.
W czasach rządów pruskich oraz II Rzeczypospolitej szczególnym propagatorem kultury kaszubskiej był dr Aleksander Majkowski (1876- 1938) pisarz i działacz społeczny, wydawca miesięcznika "Gryf", autor projektu herbu miasta. Umieszczoną na niebieskim tle czarną głowę pomorskiego gryfa wieńczy siedem srebrnych gwiazd zapożyczonych z godła zakonu św. Brunona.
Po rozbiorach wolność przyniosły Kartuzom szwadrony 1. Pułku Ułanów Krechowieckich, które 8 lutego 1920 roku wkroczyły do miasta. W roku 1923, sto lat po pruskiej kasacie klasztoru, Kartuzy otrzymały prawa miejskie.