Powstały w 1866 r. przy ul. Piekarskiej (naprzeciw cmentarza rzymskokatolickiego Mater Dolorosa) cmentarz żydowski, ukryty za wysokim murem, wśród kamienic mieszkalnych, uważany jest za najbardziej tajemniczy ze wszystkich bytomskich cmentarzy. Jest jednym z nielicznych, czynnych w województwie śląskim.
Plac cmentarny i dom przedpogrzebny ufundował Moritz Friedlander - bankier i jeden z najbogatszych ludzi ówczesnego Bytomia. Na swojej posesji przy ul. Krakowskiej miał pierwszą prywatną pompę w mieście. Był również jednym z założycieli w 1840 r. huty żelaza (późniejsza huta Pokój).
Na cmentarzu znajdują się rodzinne grobowce znamienitych bytomskich rodów (przemysłowców, bankierów, kupców, rzemieślników): Friedlanderów, Rosenthalów, Proskauerów, Loewich. Jak podają źródła, w chwili obecnej na cmentarzu znajduje się ponad 2000 grobów i około 1300 macew. Wykonane z granitu lub piaskowca ukryte są wśród paproci i pnącego bluszczu co sprawia wrażenie, że pochłania je morze zieleni.
Szczególnym miejscem na cmentarzu jest "Ściana Pamięci" powstała w latach 1989-1994 z ocalałych nagrobków ze starego cmentarza żydowskiego, który istniał od 1720 r. do lat sześćdziesiątych XIX w. i mieścił się przy obecnej ul. Piastów Bytomskich. Został zlikwidowany w 1965 r., a nagrobki wywieziono na cmentarz komunalny. W chwili obecnej na budynku pod nr 3-5 tejże ulicy widnieje pamiątkowa tablica przypominająca o istnieniu w tym miejscu starego kirkutu.
"Ściana Pamięci" powstała dzięki staraniom Towarzystwa Opieki Nad Zabytkami przy wydatnej pomocy Urzędu Miejskiego w Bytomiu i Fundacji Wieczna Pamięć w Warszawie. Jest ona fragmentem dawnej historii i obrazem dziejów historii najnowszej. W pobliżu "Ściany Pamięci" znajduje się pomnik ku pamięci Żydów deportowanych z Holandii w II połowie 1942r do Koźla n/Odrą i zatrudnionych na Górnym Śląsku, gdzie stracili życie na skutek ciężkiej pracy przymusowej. Cmentarz ten jest miejscem godnym uwagi przy planowaniu trasy turystycznej po aglomeracji bytomskiej.