Kościół św. Michała Archanioła został zbudowany w latach 1891–1895. Wznieśli go Rosjanie jako świątynię garnizonową. Kościół stoi przy wschodnim końcu Alei Wolności. Zachowany jest styl bizantyjski, wraz z charakterystycznymi pięcioma srebrnymi kopułami.
Po I wojnie światowej cerkiew wykupili katolicy, wówczas też patronem świątyni uczyniono św. Michała. Od 1962 roku działała tu galeria sztuki, w której znajdowało się muzeum rzeźby i malarstwa szklanego. Od lat 90-tych XX wieku, po odzyskaniu przez Litwę niepodległości, świątynia znowu służy celom religijnym. Jest między innymi często wybierana przez młodych jako miejsce, w którym zawierają małżeńskie związki. Nepriklausomybes aikšte 14.