Opactwo benedyktyńskie powstało w Płocku przed 1172 rokiem. Opactwo pobenedyktyńskie to druga po Bazylice Katedralnej największa budowla znajdująca się na Wzgórzu Tumskim. W miejscu po drewnianym grodzie w XIV wieku powstał na Wzgórzu Tumskim murowany z cegły zamek obronny. Pozostałością po omawianym zamku są dzisiejsze dwie wieże - Szlachecka i Zegarowa oraz fragmenty murów zamkowych sięgające nawet 17 metrów wysokości.
Wieża Szlachecka została w 1796 roku znacznie obniżona, gdyż groziło jej zawaleniem. Była wykorzystywana jako więzienie. Wieżę Zegarową wzniesiono około 1360 roku podczas budowy zamku. Od końca XVIII wieku pełni ona rolę dzwonnicy katedralnej i wtedy właśnie umieszczono na niej zegar.
W czasach króla Zygmunta Starego w XVI wieku zamek został odnowiony i stał się siedzibą starosty płockiego. W połowie XVI wieku Zygmunt Stary przekazał ten teren benedyktynom, którzy byli obecni w Płocku od czasów chrystianizacji Polski. Benedyktyni tworzyli wtedy pierwszą kapitułę katedralną płockiej diecezji utworzonej w 1075 roku. W 1781 roku benedyktyni opuścili Płock, gdyż zostali przeniesieni przez biskupa Jerzego Michała Poniatowskiego do Pułtuska. Opactwo zostało zagospodarowane przez seminarium duchowne prowadzone przez księży misjonarzy św. Wincentego. Gdy postanowiono powiększyć seminarium w 1856 roku, kościół został zlikwidowany i podzielony na trzy kondygnacje. Ołtarz główny przeniesiono do płockiej fary, natomiast portal do Bądkowa Kościelnego.
W 1866 roku budynek przejęły władze rosyjskie i utworzyly w nim państwowe gimnazjum żeńskie funkcjonujące do wybuchu pierwszej wojny światowej. W okresie międzywojennym mieściła się tu szkoła muzyczna dla organistów oraz mieszkania prywatne. Całe wzgórze otoczono drugim pierścieniem obwarowań. Z biegiem lat zabudowania osunęły się do Wisly, a pozostałości rozebrano.
Reliktami płockiego zamku są już wcześniej wymienione wieże - Szlachecka i Zegarowa oraz zachodnia ściana opactwa. Obecnie obiekt ponownie znajduje się w posiadaniu Diecezji Płockiej.