Po zdobyciu Pomorza przez Piastów i za czasów książąt gdańskich osada należała do kasztelanii szczytnieńskiej. Krzyżacy, którzy później zajęli te ziemie, docenili walory naturalne "człuchowskiego" terenu. Na otoczonym jeziorami półwyspie wznieśli potężną twierdzę, drugą co do wielkości w państwie zakonnym. Zamek górujący nad okolicą przez stulecia był nie do zdobycia przez oblegające go wojska.
Zamczysko bracia zakonni wznieśli zaraz po zajęciu tych terenów. W czasach swojej świetności teren ten był podzielony na cztery kwartały, odcięte od lądu dwoma fosami - wschodnią (suchą) i zachodnią (stanowiącą połączenie między jeziorami). Od strony zachodniej znajdowało się podzamcze, w którym mieściły się zbrojownia, stajnie i spichrze. Dalej wznosił się Zamek Wysoki. Na północ od niego, za suchą fosą, stał Zamek Średni, zwany niekiedy drugim podzamczem. Zaplecze gospodarcze krzyżackiej siedziby rozciągało się po zachodniej stronie Zamku Wysokiego. Płynne poruszanie się między poszczególnymi częściami twierdzy zapewniał system mostów zwodzonych, z których każdy miał własną basztę obronną.
W Zamku Wysokim rezydował komtur. Jego siedziba była zbudowana na planie kwadratu o boku długości prawie 50 m. W piwnicach znajdowały się pomieszczenia gospodarcze i mieszkania dla służby. Na piętrze mieszkał komtur, tu również były dwa refektarze, kaplica i kapitularz. Drugie piętro stanowiło magazyny, a na poddaszu wybudowano ganki obronne. Zachowana do dziś wieża liczy 11 kondygnacji, jej łączna wysokość to 49,9 m. Do ostatniej wojny wieża służyła m.in. jako dzwonnica kościoła ewangelickiego.
Zalążek przyszłego miasta stanowiła osada przyzamkowa, zamieszkiwana przez Kaszubów i kolonistów niemieckich. Niewielka miejscowość powstała w okolicach dzisiejszego rynku i nie miała praktycznie żadnych obwarowań. Fosy i system stawów nie były wystarczającą ochroną dla wybudowanego w drewnie miasteczka. Przy okazji kolejnych oblężeń to właśnie ono padało pierwszą ofiarą atakujących.
Dopiero w końcu XVIII wieku, kiedy osada spłonęła już doszczętnie, król pruski zezwolił na rozbiórkę zamku i wykorzystanie jego cegieł jako budulca dla nowych domostw. Z twierdzy pozostała jedynie górująca nad miastem wieża i odbudowana dopiero w latach dwudziestych XIX stulecia kaplica zakonna. Pomimo że miasto w XVIII wieku w większości zamieszkiwali Niemcy, na jego terenie istniała starościńska jurydyka żydowska z synagogą i chederem, czyli szkołą dla chłopców.
Dynamiczny rozkwit Człuchowa przypadł na II połowę ubiegłego stulecia. Wybudowano wówczas linie kolejowe, które stworzyły z miasta ważny węzeł komunikacyjny. W 1920 roku Człuchów w odróżnieniu od pobliskich Chojnic został włączony do Niemiec. Podobnie jak większość miasteczek leżących na pograniczu z Rzeczypospolitą, Człuchów w okresie międzywojennym borykał się ze sporymi problemami natury nacjonalistyczno-ekonomicznej. Spore poparcie wśród okolicznej ludności zyskał ruch faszystowski wzbudzający poczucie zagrożenia ze strony Polski.
W lutym 1945 roku do Człuchowa wkroczyły oddziały "wyzwoleńczej" Armii Czerwonej. W wyniku działań wojennych zabudowa miasta została zniszczona w ok. 60 proc. Później nowe władze Polski wysiedliły stanowiącą jeszcze większość ludność niemiecką. Człuchów stał się rdzennie polski.
Największą atrakcję turystyczną miasta stanowią pozostałości krzyżackiej twierdzy. Zamek stanowił największą budowlę krzyżacką po lewej stronie Wisły. Przetrwał aż do 1793 roku, kiedy to pożar Człuchowa spowodował całkowite zniszczenie miasta. Zachowana wieża zamkowa jest dostępna dla turystów, z jej szczytu roztacza się piękna panorama miasta i okolic. Do dziś przetrwały też mury Zamku Wysokiego i pasa obronnego Podzamcza oraz dawne fosy. Dzięki temu dość czytelny pozostał układ przestrzenny całej twierdzy. U stóp wieży ustawiono pamiątkowy głaz-pomnik poświęcony "tym, którzy pierwsi na tej ziemi przywrócili polskość", a przy zamku - armatę wyprodukowaną w Liege w drugiej połowie XIX wieku, używaną w czasie wojny francusko-pruskiej (1870-1871). Z kolei w przyzamkowym parku rośnie kilka okazów starych dębów i buków - pomników przyrody.
W samym centrum Człuchowa warto zwrócić uwagę na XVII-wieczny, barokowy kościół pod wezwaniem św. Jakuba. Sama parafia, według źródeł historycznych, istnieje już od 1209 roku, chociaż w okresie reformacji świątynia wykorzystywana była przez protestantów. Kościół w swoim obecnym kształcie ufundował Jakub Wejher w 1647 roku. Charakterystyczna wieża św. Jakuba została dobudowana niemal wiek później.
W niewielkim budynku obok Urzędu Miasta przy ul. Wojska Polskiego 3 mieści się Muzeum Regionalne. Można w nim obejrzeć ekspozycję dotyczącą kultury materialnej dawnych mieszkańców tej ziemi oraz wystawy czasowe. Muzeum jest otwarte dla zwiedzających codziennie oprócz poniedziałków w godz. 10-16.