Góra Zamkowa wznosi się nad prawym brzegiem Wisły, już od niepamiętnych czasów było to miejsce spacerów i wycieczek, którego główny cel stanowiła główna atrakcja - wieża zamkowa "Klimek", pozostałość zamku krzyżackiego.
Historia Góry Zamkowej i znajdującego się na niej grodu sięga najprawdopodobniej czasów pogańskich, bowiem podczas badań archeologicznych przy zasypanej studni zamkowej znaleziono duże naczynie oraz dół palny zawierający kości zwierząt. Wieku tych znalezisk jeszcze nie określono, ale mogą one pochodzić z okresu przed przybyciem Krzyżaków do Grudziądza, czyli można przypuszczać, że jednak istniała w tym miejscu osada pogańska.
Pierwsze wzmianki historyczne na temat grodu na Górze Zamkowej pochodzą z początku XIII w., wtedy to Konrad Mazowiecki w 1222 r. nadał biskupowi Chrystianowi grudziądzki gród wraz z innymi obiektami obronnymi Ziemi Chełmińskiej. Później w wyniku wielu różnych zdarzeń tereny te dostały się pod władzę Zakonu Krzyżackiego. Budowę murowanego zamku przez Zakon Krzyżacki rozpoczęto prawdopodobnie przed 1250 r., bowiem z zapisków wynika, że w 1250 r. pierwszym lokalnym komturem został Berthold oraz to, że w grudniu 1254 r. zamek już był wybudowany, być może częściowo, ale właśnie wtedy spotkali się na nim trzej biskupi: chełmiński, pomezański i warmiński.
Z pewnością w tym samym czasie u podnóża Góry Zamkowej zaczęło powstawać osiedle obronne, dające początek miastu Grudziądz. Budowa zamku trwała najpewniej do końca XIII w., pełnił on funkcję siedziby komtura i był jedną z najpotężniejszych fortyfikacji zamkowych Zakonu Krzyżackiego. Składał się z zamku wysokiego otoczonego przedzamczem, wjazd do zamku górnego prowadził z przedzamcza mostem zwodzonym przez trzy bramy. Zamek wysoki został zbudowany w formie czworoboku z dziedzińcem pośrodku. Na dziedzińcu znajdowała się studnia zamkowa oraz wieża "Klimek", która pełniła funkcje obserwacyjne, służyła jako więzienie, ale przede wszystkim była to tzw. wieża ostatniej obrony, gdzie podczas oblężenia mogły się w niej skryć uprzywilejowane osoby.
Była to budowla wolnostojąca, wysoka na 30 m., dojście do niej było możliwe mostem na wysokości 14 m. O wyglądzie zamku wiemy tylko z opisów i rysunków, które pozostały z czasów jego świetności. Wiadomo, że funkcję reprezentacyjną zamku pełniło skrzydło południowe, tam mieścił się kapitularz, refektarz i przepiękna, bogato wyposażona kaplica zamkowa. W skrzydle zachodnim mieściła się jadalnia i pomieszczenie dla służby oraz pokoje gościnne dla wielkich mistrzów. Natomiast w osobnym, dobudowanym budynku sypialnia i jadalnia komtura. Przy tym skrzydle znajdowała się również wieża latrynowa. Północne skrzydło mieściło piekarnię, kuchnię i sypialnie rycerzy. Skrzydło wschodnie zajmował browar. Od strony dziedzińca wszystkie skrzydła mieszkalne połączone były krużgankami.
W połowie XIV w., gdy osunęła się skarpa od strony Wisły, runęło wtedy częściowo zachodnie skrzydło zamku wysokiego, które niedługo potem odbudowano.
Zamek podczas swojego istnienia kilkakrotnie przechodził z rąk do rąk, raz władały nim wojska polskie, raz pruskie. Po wygranej bitwie pod Grunwaldem w 1410 r. zamek znalazł się w rękach Polaków, podczas wojny trzynastoletniej zdobyty został przez wojska Związku Pruskiego, dopiero po traktacie kończącym wojnę trzynastoletnią w 1454 r. zamek znowu wrócił do Polski i stał się siedzibą starostów grudziądzkich. Podczas potopu szwedzkiego zamek został zniszczony działaniami wojennymi różnych wojsk. Po rozbiorach Polski zamek znowu stał się własnością Prus, przez pewien okres wykorzystywany był na mieszkania dla wojska.
Niestety na przełomie XVIII/XIX w. Fryderyk Wilhelm III zarządził rozbiórkę zamku, a uzyskane w ten sposób cegły posłużyły budowie nowej twierdzy. Z ogromnej budowli ocalała wtedy jedynie wieża i resztki murów. Wieża "Klimek" przetrwała do 1945 r., kiedy to Niemcy, tuż przed kapitulacją, wysadzili ją w powietrze. Do dzisiaj z potężnej krzyżackiej twierdzy zachowały się nikłe resztki. Na wzgórzu warto zobaczyć niewielkie fragmenty murów z ostrołukowym portalem, zamkową studnię o średnicy 2,5 m. oraz fragmenty wieży "Klimek".