Kościół pw. Podwyższenia Krzyża Świętego otoczony jest ceglanym murem z XIX wieku. W latach 20-tych XX wieku znaczną część ceglanego muru zastąpiono ogrodzeniem metalowym z ceglanymi słupkami. Pomiędzy murem a kościołem znajdował się cmentarz przykościelny. Na murze tym, we wnękach znajdowały się epitafia i nieczytelne obecnie napisy nagrobne a na cmentarzu pozostał jedyny trójboczny nagrobek. Przy murze stoi kaplica przedpogrzebowa. Została wzniesiona w 1901 roku na planie prostokąta z czerwonej cegły, co dobrze komponuje się z kościołem oraz murem.
Kaplica nakryta jest dwuspadowym dachem krytym blachą osłoniętym od frontu attyką z wieżyczką. Półkoliście zamknięte okna, płytkie nisze i drzwi wejściowe ozdobione wystającymi cegłami (archiwoltą). Elewacja frontowa flankowana jest pilastrami. W kaplicy złożono zwłoki Jana Kochanowskiego i jego rodziny. Spoczywały tutaj do 1984 r. kiedy to zostały przeniesione do podziemi kościoła Podwyższenia Krzyża Świętego. Ogrodzenie, kaplica przedpogrzebowa oraz nagrobek wpisane są do rejestru zabytków.