Grodzisko usypano na prawym brzegu Narwi w okresie przynależności tych ziem do Rusi Kijowskiej. Było to w XI wieku. Przez kolejne lata wielokrotnie atakowały je oddziały Jaćwingów, Mazowszan i Krzyżaków. Kiedy w XVI w. wraz z województwem podlaskim, ziemię surażską przyłączono do Korony, w miejscu grodu wybudowano z polecenia królowej Bony zamek. W jego murowanej wieży umieszczono archiwum i więzienie. Budowla przetrwała do potopu szwedzkiego.
Już pierwsze, przeprowadzone na grodzisku wykopaliska (1936) dostarczyły mnóstwa ciekawych informacji na temat pierwotnych tutejszych budowli. Ustalono wówczas, że wznosiło się ono 10 m nad poziomem Narwi. Dzisiejsza ulica Zamkowa, to fragment dawnej fosy, napełnianej wodą z rzeki. Stoki wzgórza wyłożone były warstwą gliny o grubości do 50 cm. Miało to zapobiec osypywaniu się zbocza i wzmocnić wały. Brama wjazdowa mieścić się miała od strony rynku (gdzieś w okolicach dzisiejszych schodów), a wewnątrz majdanu stała murowana wieża i drewniane domy.
Dziś oglądać możemy jedynie wzgórze zamkowe, ale warto się na nie wspiąć. Roztacza się stamtąd niebrzydki widok na Narew, kościół i okolicę. Ulicą Zamkową natomiast zejdziemy nad sam brzeg rzeki. To doskonałe miejsce na krótki odpoczynek