W trakcie prac przy budowie Kościoła Mariackiego pw. Niepokalanego Poczęcia NMP przystąpiono do realizacji budowy cmentarza dla parafian. Ostatecznie oddano go do użytku w 1870 r. Jest to jedna z najstarszych nekropolii w Katowicach mająca duże znaczenie historyczne.
Od strony ul. Francuskiej na cmentarz prowadzi budynek bramny składający się z kostnicy i pomieszczeń mieszkalnych dla grabarza. W okresie międzywojennym uważany był za najbardziej reprezentacyjny. W centralnej części cmentarza wśród starych drzew znajduje się ciekawa pod względem architektonicznym kaplica cmentarna pw. św. Józefa. Podczas niedawnych prac remontowych znaleziono schowaną pod ołtarzem metalową puszkę dobrze zabezpieczoną. Po jej komisyjnym otwarciu oprócz polskich i niemieckich gazet z 1924 r. (m.in. "Gość Niedzielny" opisujący pogrzeb Karola Miarki) oraz niewielkiej ilości pieniędzy z tego okresu znaleziono dokument stwierdzający, że fundatorem kaplicy był ksiądz kanonik Józef Cieśla, który po długoletnim pobycie za granicą powrócił do ojczyzny. Tablica upamiętniająca fundatora wmurowana jest w ścianę kaplicy. Obok niej znajdują się tablice pamiątkowe wielu znamienitych obywateli: Konstantego Wolnego (pierwszy marszałek Sejmu Śląskiego), Wiktora Schnidta (budowniczy Kościoła Mariackiego i pierwszy proboszcz parafii), Thomasa Szczeponika (senator Rzeczpospolitej Polskiej pierwszej kadencji), Jana Kantego Szurleja (Krajowy Duszpasterz Apostolstwa Chorych) i innych.
W lutym 1993 r. cmentarz został wpisany do rejestru zabytków.