Historia Bytowa sięga XII wieku, kiedy w miejscu dzisiejszego miasta stał drewniany gród, należący do Księstwa Słupsko-Sławieńskiego. Do Pomorza miejscowość przyłączył Świętopełk na początku kolejnego stulecia. Po śmierci ostatniego z gdańskich książąt ziemiami tymi rządzili Przemysł II i Władysław Łokietek. Wiek XIV rozpoczyna okres, kiedy Bytów przechodził z rąk do rąk kolejnych włodarzy.
Na samym początku władzę w Bytowie przejęli Brandenburczycy, później książęta zachodniopomorscy. W 1329 roku ziemia bytowska stała się częścią Państwa Zakonnego. Krzyżacy nadali miejscowości akt lokacyjny, a ponieważ leżała na rubieżach ich włości - wybudowali zamek (w 1404 roku).
Po bitwie grunwaldzkiej fortecę na krótko zajęły wojska polskie, ale niedługo później król Władysław Jagiełło oddał Bytów z przylegającymi ziemiami księciu słupskiemu Erykowi II, w podzięce za poparcie podczas wojny z zakonem. Jednak na mocy traktatu pokojowego Krzyżacy odzyskali te tereny.
Kolejna zmiana właściciela nastąpiła na początku wojny trzynastoletniej. Zdobyty przez Kazimierza Jagiellończyka Bytów został oddany ponownie w lenno księciu słupskiemu Erykowi II. Lokalny władca okazał się jednak sojusznikiem niestałym. W zależności od sytuacji, sprzymierzał się z Krzyżakami, którzy faktycznie przebywali tutaj do końca wojny w 1466 roku. Jak podają historycy, Eryk II zamierzał nawet wykupić od zakonu ziemie bytowską i lęborską za sumę stu tysięcy talarów. Ostatecznie opłacił jedynie załogi twierdz w Bytowie i Lęborku.
Na początku XVI wieku na ziemię bytowską dotarła reformacja. Na mocy uchwały sejmiku pomorskiego w Trzebiatowie w roku 1534 religia Lutra stała się wyznaniem na całym Pomorzu. Wówczas jeden z pierwszych bytowskich pastorów - Szymon Krofey - wydał pierwszą drukowaną książkę po kaszubsku. Był to, jak większość drukowanych wtedy wydawnictw, zbiór pieśni połączonych z katechizmem.
Kiedy umarł ostatni z zachodniopomorskich książąt, miasto powróciło pod panowanie króla polskiego. Trwało zaledwie dwadzieścia lat, ale zaowocowało kilkoma istotnymi wydarzeniami. Skutecznie przeprowadzono kontrreformację, dzięki czemu katolicyzm w późniejszych czasach stał się wyznacznikiem polskości i jej ostoją.
Natomiast w 1637 roku sejm podjął ostateczną decyzję o włączeniu tych ziem do województwa pomorskiego, a na starostę bytowskiego wybrano Jakuba Wejhera. Decydujący w tej sprawie był głos miejscowej szlachty i mieszczaństwa. Lokalna szlachta otrzymała z rąk króla przywileje i wolności możnowładztwa koronnego. Praw tych odmówiono zaś osiedleńcom narodowości niemieckiej, co miało z kolei istotny wpływ na zachowanie polskiego charakteru regionu.
Panowanie Rzeczypospolitej zakończył traktat wielawski pomiędzy królem polskim a elektorem brandenburskim. Ziemia bytowska przeszła w lenno Brandenburczyków za pomoc Polakom w wojnie ze Szwedami. Od tego momentu miasto pozostawało w rękach niemieckich przez 250 lat - aż do zakończenia II wojny światowej. Prusacy prowadzili konsekwentną politykę germanizacyjną: popierali osadnictwo niemieckie, systematycznie ograniczali przywileje miejscowej szlachty, rozbudowywali swoje szkolnictwo, umacniali religię protestancką. Działania te doprowadziły do zniemczenia Bytowa i przyległych ziem.
Jedynie w południowo-wschodniej części regionu, gdzie zachowała się większość katolicka, kultywowano polskie i kaszubskie tradycje. Efektem tego było m.in. otwarcie w Bytowie, mimo niesprzyjających przepisów, polskiego banku.
Po zakończeniu I wojny światowej planowano nawet włączenie tych terenów do odradzającej się Polski. W rzeczywistości jednak ludność polska stanowiła zdecydowaną mniejszość i na mocy postanowień traktatu wersalskiego Bytów pozostał niemiecki.
Działalność polskich organizacji w zakresie rozwoju szkolnictwa była w latach międzywojennych wykorzystywana przez Niemców do budowania nastrojów nacjonalistycznych i ksenofobii. Na fali tych poczynań wzrastała sympatia dla ruchu faszystowskiego. Po dojściu Hitlera do władzy rozpoczęły się represje i prześladowania Polaków. W ich wyniku do roku 1939 działalność organizacji patriotycznych zanikła zupełnie.
Bytów został wyzwolony - niemal bez walki - w marcu 1945 roku przez Armię Czerwoną. Jednak sam pobyt radzieckich żołnierzy wyrządził ogromne szkody: zniszczono niemal 60 proc. miasta, najbardziej ucierpiało śródmieście - zrujnowane w 90 proc.
Główną atrakcją turystyczną Bytowa jest krzyżacki zamek, który monumentalizmem i urokiem ustępuje tylko siedzibie wielkiego mistrza w Malborku. Powstała na przełomie XIV i XV wieku twierdza nie stanowiła integralnej części miejskich fortyfikacji. W związku ze zmianami jej przeznaczenia, była wielokrotnie rozbudowywana w ciągu wieków. W czasach zaborów zamek służył jako magazyn, więzienie i mieszkania dla urzędników.
Renowacja budynku, którą rozpoczęto jeszcze w latach 30. naszego wieku, została zakończona dopiero parę lat temu.
Twierdza składa się z Domu Zakonnego, Domu Książęcego oraz Domów Wdów i Sądu . W narożnikach murów usytuowano cztery baszty: Polną, Różaną, Młyńską i Wieżę Prochową . Przy ścianie zachodniej w XVI wieku istniała książęca kancelaria, a w średniowieczu, już poza murami, stała wieża zwana Gdaniskiem, pełniąca prawdopodobnie funkcję latryny.
Przed zamkiem znajdowała się też Wieża Bramna z mostem zwodzonym. Obecnie stoi tu budynek sądu z 1858 roku.
Dzisiaj w zamku mają siedzibę Zrzeszenie Kaszubsko-Pomorskie i Bractwo Rycerzy Kaszubsko-Pomorskich. Mieszczą się tutaj także hotel i restauracja, punkt Informacji Turystycznej oraz Muzeum Zachodniokaszubskie , prezentujące wystawy czasowe oraz stałą ekspozycję etnograficzną poświęconą kulturze miejscowych Kaszubów.
Placówka jest czynna cały tydzień, oprócz poniedziałków.
Przy centralnym placu miasta, noszącym imię kardynała Stefana Wyszyńskiego, znajduje się wybudowany w latach 1847-54 kościół św. Katarzyny. Budowla w stylu eklektycznym wzorowana jest na berlińskim kościele św. Mateusza. Do zakończenia II wojny światowej świątynia służyła protestantom.
Ciekawym obiektem jest most kolejowy nad rzeką Borują, wybudowany w latach 90. ubiegłego stulecia dla linii kolejowej z Bytowa do Miastka. Z niewiadomych przyczyn trasę poprowadzono jednak gdzie indziej i mostem nigdy nie przejechał żaden pociąg. Na filarach umieszczono godła: Prus, Pomorza, Bytowa i Niemieckich Kolei.