Według przewodników należały do 23 rozbójników straconych w pobliskim lesie. Byli to Polacy, którzy schronili się tu w czasie wojny ze Szwedami w 1658-1660 r., grabiąc okolicę. Miejscowi w końcu ich złapali. Czaszki umieścili w murze ku przestrodze, a las nazwali Lasem Polaków (Polakkerskoven). Dzisiaj Polacy są w Vejle mile widziani, o czym świadczy m. in. brak narodowości rozbójników w polskojęzycznej broszurze informacyjnej.