Barokowy kościół pw. św. Antoniego z klasztorem znajduje się przy ul Narutowicza 37. W 1670 został ufundowany pierwszy drewniany kościół i klasztor przez Michała Kazimierza Radziwiłła i jego żonę Katarzynę z Sobieskich dla zakonu reformatów, którzy zostali sprowadzeni w 1671 r. z Poznania. Murowany kościół został wybudowany w latach 1672-1684, zapewne wg projektu Augustyna Locciego Młodszego w stylu barokowym. W 1688 r. świątynia została konsekrowana przez biskupa kijowskiego Andrzeja Chryzostoma Załuskiego i otrzymała wyzwanie Matki Bożej Anielskiej.
W 1788 r. zostały sprowadzone relikwie bł. Pacyfika z San Severino. W 1867 r. nastąpiła kasata zakonu reformatów i kościół został filią kościoła parafialnego św. Anny, a w 1869 r. został cerkwią unicką, natomiast w latach 1875-1915 był cerkwią prawosławną. Klasztor natomiast został przeznaczony na kursy dla nauczycieli szkół rosyjskich oraz utworzono w nim trzyletnie syminarium, które przygotowywało przygotowując kandydatów do zawodu nauczyciela w rosyjskich szkołach elementarnych.
Po odzyskaniu przez Polskę niepodległości w 1919 r. została utworzona parafia wojskowa pod wezwaniem Krzyża Świętego. W czasie okupacji hitlerowskiej kościół uległ częściowemu zniszczeniu, po zakończeniu działań wojennych wyremontowany. W 1965 r. z inicjatywy biskupa podlaskiego Ignacego Świrskiego opiekę nad świątynią przejął zakon ojców kapucynów.