W 1236 roku Krzyżacy zdobyli Sztum, a w 1325 roku rozpoczęli w tym miejscu, trwającą dwa lata, budowę twierdzy. Co ciekawe, sztumski zamek znacznie różni się 

od pozostałych budowli krzyzackich. Nie został bowiem wzniesiony na planie kwadratu, a pięcioboku i to w dodatku nieregularnego. Kształt miał nawiązywać do 

wyspy na jakiej wzniesiono budowlę. Przebywający tu w 1377 roku austriacki arcyksiążę Albrecht III Habsburg, podarował miastu swoje barwy, przez co do dziś 

Sztum ma flagę identyczną z flagą Austrii. Wtedy też wybudowana została wieża zamkowa. Dalsza rozbudowa trwała aż do 1418 roku (nie przeszkodziły w tym nawet 

zniszczenia spowodowane wojnami w latach 1410-1411). Wojna trzynastoletnia sprawiła, że twierdza przeszła w ręce Polski. Do czasów dzisiejszych zachowały się 

mury, brama, a także południowe skrzydło, a teren zamkowy jest miejscem organizowania różnego rodzaju imprez rycerskich.