Dawne więzienie znajduje się przy ul. Zamkowej w bezpośrednim sąsiedztwie pałacyku Tomasza Zielińskiego i Pałacu Biskupów w Kielcach. Powstało w latach 1826-1828 i funkcję tę pełniło do lat 70. XX wieku pod panowaniem kolejnych rządów polskich, zaborczych, jak i później okupacyjnych. Początkowo zajmowało wyżej położone pawilony, podczas zaboru rosyjskiego zostało powiększone do obecnych rozmiarów. Najtragiczniejszym okresem w jego dziejach były lata 1939-1956.
Zaraz po wybuchu wojny Niemcy umieścili tu punkt zborny jeńców, a nocą 9 września dokonano masakry sprowokowanej przez niemieckich strażników, kilkunastu jeńców zostało zastrzelonych i około 40 rannych. Jakiś czas później więzienie przejęte zostało przez gestapo. Przez okres okupacji zatrzymanych było tu około 16 tys. więźniów, przy czym jednorazowo przebywało nawet ok. 2 tys. osadzonych, a miejsc było zaledwie na 400 osób. Więźniowie znajdowali się w okropnych warunkach sanitarnych i bytowych: głodzeni, maltretowani i rozstrzeliwani, a także wywożeni do obozów. Z kaplicy więziennej gestapowcy zrobili izbę tortur. Kilka tygodni po wojnie więzieniem dysponowało NKWD, następnie do 1956 roku zarządzały nim władze bezpieki. Osadzali więźniów przeważnie politycznych, ale nie tylko.
W nocy z 4 na 5 sierpnia 1945 roku miała miejsce sławetna akcja żołnierzy AK, dowodzonych przez mjr. A. Hedę pseud. "Szary", podczas której uwolnili z kieleckiego więzienia ok. 700 osadzonych. Wydarzenie to upamiętnia tablica na rogu budynku.
Po 1956 roku w więzieniu przebywała niewielka liczba więźniów politycznych, a po przeniesieniu go do innego lokum gmach praktycznie opustoszał. Niektóre pomieszczenia budynków byłego więzienia wysiłkiem społecznym adaptowano na Muzeum Pamięci Narodowej, które otwarte zostało w 50. rocznicę akcji odbicia więźniów przez oddział "Szarego". W dwóch salach znajdują się eksponaty dotyczące historii więzienia z okresu 1939-1956. Zachowane są też w pierwotnym stanie karcery, wieżyczka strażnicza i miejsce, gdzie więźniowie byli rozstrzeliwani, a w sklepieniu jednego z pomieszczeń mieści się hak służący do wykonywania wyroków śmierci przez powieszenie.