Dawne kolegium wikariuszy zostało wybudowane w latach 1732-36 z inicjatywy biskupa Krzysztofa Antoniego Szembeka. W budynku swoją siedzibę miały min. Archiwum Obwodu Kujawskiego, szkoła, a także konsystorz biskupi. W okresie okupacji niemieckiej budynek został przejęty przez hitlerowską policję.
Po wojnie w gmachu do 1956 r. swoją siedzibę miał Powiatowy Urząd Bezpieczeństwa Publicznego, przez którego ręce przeszło wielu Polaków, działających w czasie drugiej wojny światowej w Armii Krajowej i innych organizacjach niepodległościowych, a następnie Polacy, którzy nie pogodzili z ustrojem komunistycznym narzuconym przez Związek Radzicki. Kolejnym lokatorem budynku została milicja obywatelska.
Po upadku systemu komunistycznego gmach wrócił do Diecezji Włocławskiej. W 1994 został do gmachu przeniesiony Sąd Biskupi, a w 2005 r. zostało otwarte Muzeum Diecezjalne, gdzie są eksponowane najważniejsze pamiątki Diecezji Włocławskiej. W latach 2011-12 trwała rewitalizacja i rozbudowa Muzeum Diecezjalnego przy placu Kopernika 3.