Góra Kalwaria przez niemal dwa stulecia była siedzibą wojskowego garnizonu. Walory strategiczne miasta docenili carscy dowódcy, lokując tu w 1819 r. 5. Baterię Artylerii Pieszej Lejbgwardii Cesarskiej. Na koszary przeznaczono budynki klasztoru pijarów. Wojsko zajmowało klasztor do 1840 r. Po tym czasie na koszary przejęta została część obiektów byłego klasztoru bernardynów.
Po upadku powstania styczniowego Góra Kalwaria stała się miejscem stacjonowania 29. Czernihowskiego Pułku Piechoty im. generała feldmarszałka księcia Iwana Dybicza Zabałkańskiego. Dla tej jednostki wzniesiono pod koniec XIX w. nowe budynki na terenie nieistniejącego klasztoru dominikanów. Obiekty te służyły Wojsku Polskiemu do końca 2001 r.
Koszarowce przy ulicy Dominikańskiej zbudowano z ceramicznej cegły. Składały się dużych, wieloosobowych sal. Po ich przejęciu przez polskich żołnierzy dokonano przebudowy wnętrz oraz otynkowano elewacje. Obecnie oba budynki pozostają nieużytkowane, czekając na nową funkcję.
Po stacjonującym tu wojsku pozostały na pamiątkę dwie armaty stojące przed bramą prowadzącą na teren koszar.