Zamek był kiedyś centralnym punktem miasta, teraz role tę pełnią jego ruiny. Pierwotnie zbudowany był z drewna. W 1370 roku spłonął podczas najazdu litewskiego. Po pożarze odbudowano go już z cegieł i kamienia. Był siedzibą prokuratora krzyżackiego, zarządzającego utworzonym tu okręgiem administracyjno-wojskowym. Po likwidacji Prus Zakonnych zamek stracił swoją pozycję strategiczną, ale nadal pozostawał siedziba starostwa.
W roku 1579 rozpoczęła się trwająca trzy lata przebudowa zamku. Gościem zamku był Władysław IV, który przyjeżdżał na polowania w okolicy. Po raz ostatni, w 1656 roku, zamek spełnił swoje obronne przeznaczenie, podczas wojny polsko – szwedzkiej odpierał ataki wojsk tatarskich.
Wiek XVIII nie był zbyt szczęśliwy dla losów zamku. Nie prowadzono już w nim żadnego urzędu, został zaniedbany i częściowo rozebrany. W 1925 roku utworzono w nim muzeum powiatowe, a po zakończeniu II wojny światowej, w latach 1945 – 1948 mieściło się tam Muzeum Mazurskie. Nie udała się odbudowa zamku, dlatego w latach 1990-1992 mury zabezpieczono w postaci stałej ruiny.