Kościół zbudowano w latach 1911-1912. Jest to pierwszy kościół wzniesiony w dzielnicy Zatorze i jedna z niewielu budowli w stylu neoromańskim w Olsztynie. Świątynia ma 47 metrów długości i 18,5 metra szerokości. Zaprojektował ją Fritz Heitman z Królewca. Posiada pięć ołtarzy; ołtarz główny wykonano, tak samo jak kościół, w stylu neoromańskim. Dwa boczne ołtarze pochodzą z czasu budowy świątyni. Po II wojnie pojawiły się pozostałe dwa ołtarze. Oprócz ołtarza głównego w kościele św. Józefa warte obejrzenia są oryginalne witraże i pięknie rzeźbiona ambona. Przed wojną kościół ozdobiono licznymi malowidłami. Do dzisiaj zachowało się tylko jedno, "Sąd Ostateczny", wykonane na suficie w kopule. Od 2009 roku kościół jest Sanktuarium Miłosierdzia Bożego w Archidiecezji Warmińskiej. Na jego tyłach znajduje się cmentarz św. Józefa. Nekropolia powstała w 1904 roku. Zamknięto ją w 1962 roku. W 1984 roku została wpisana do rejestru zabytków, najstarsze zachowane groby pochodzą z 1905 roku.