Budynek został wzniesiony na początku XX wieku, według projektu Stanisława Szpakowskiego, z fundacji Mojżesza Pfeffera. Pierwotnie w stylu neoromańsko-mauretańskim, późniejsze przebudowy nadały mu obecny neoklasycystyczny kształt. Jest to budowla piętrowa, wzniesiona na planie prostokąta, z niższą dobudówką i dwoma symetrycznie ustawionymi aneksami, otynkowana, nakryta dwuspadowym dachem osłoniętym attyką. Czytelny do dziś układ wnętrz, z dużą salą modlitewną. Koło synagogi była mykwa i dom rabina,budynki bardzo zniszczone rozebrane zostały w latach 70. XX w.
W czasie II wojny światowej synagoga najpierw została zdewastowana przez hitlerowców, a następnie mieścił się tu areszt dla Żydów i magazyn na mienie żydowskie, które zrabowali Niemcy - o tym fakcie informuje tablica na budynku. W górnej części tablicy jest umieszczony cytat z Psalmu 94 - "Lud Twój, o Panie, depczą i uciskają Twoje dziedzictwo. Mordują wdowę i przechodnia i zabijają sieroty". Synagoga po zniszczeniach wojennych została odbudowana w latach 60-tych XX w. Obecnie mieści się tu Archiwum Miejskie. Na nagrobku fundatora Mojżesza Pfefera - przedstawiony jest wizerunek kieleckiej synagogi - który pochowany jest na cmentarzu żydowskim przy ulicy Okopowej w Warszawie.