Pierwotnie, w XVII w. budynki klasztorne zakonu sióstr benedyktynek. Po kasacie zakonu, gdy Radom znajdował się w zaborze rosyjskim, utworzono tu więzienie carskie. W czasie okupacji niemieckiej w części budynku zorganizowano szpital dla rannych jeńców wojennych. Leczono tu od 100 do 500 żołnierzy pod komendą kpt. dra Bentkowskiego z Poznania. Po kilku tygodniach szpital przeniesiono do budynku gimnazjum im. M. Konopnickiej (ul. Żeromskiego 41), a cały obiekt przeznaczono na niemieckie więzienie.
Przewinęło się przez nie ponad 18 tys. więźniów, z których tylko 8 tys. stanowili przestępcy kryminalni. Większość to działacze polityczni, członkowie pod ziemnego ruchu oporu lub zupełnie niewinni ludzie. Na początku stycznia 1943 r. z radomskiego więzienia duży transport więźniów skierowano do Majdanka, rozpoczynając tym samym funkcjonowanie tego obozu koncentracyjnego. Ostatni transport wysłany 14 stycznia 1945 r. do Auschwitz-Birkenau dojechał tylko do Częstochowy. Pozostałych więźniów rozstrzelano w styczniu 1945 r. na Firleju. Po wyzwoleniu w więzieniu przetrzymywani byli członkowie organizacji niepodległościowych. Dnia 9 września 1945 r., dzięki udanej akcji podziemia, dowodzonej przez Stefana Bembińskiego "Harnasia", uwolniono prawie 500 osób zatrzymanych przez Urząd Bezpieczeństwa.