Według przewodników należały do 23 rozbójników straconych w pobliskim lesie. Byli to Polacy, którzy schronili się tu w czasie wojny ze Szwedami w latach 1658-1660, grabiąc okolicę. Miejscowi w końcu ich złapali. Czaszki umieścili w murze ku przestrodze, a las nazwali Lasem Polaków (Polakkerskoven). Dzisiaj Polacy są w Vejle mile widziani, o czym świadczy m.in. brak narodowości rozbójników w polskojęzycznej broszurze informacyjnej.