W nocy z 25 na 26 września 1953 r. do klasztoru kapucynów w Rywałdzie przybył konwój samochodów milicyjnych, który przywiózł niecodziennego gościa. Był nim prymas kardynał Stefan Wyszyński, dla którego ten cichy franciszkański klasztor miał być pierwszym z czterech miejsc odosobnienia, w których władze komunistyczne przetrzymywały go przez ponad trzy lata. Sam pobyt w Rywałdzie trwał najkrócej, bo tylko do 11 października, kiedy to przewieziono prymasa do klasztoru w Stoczku Warmińskim. Niewielką celę zakonną, w której mieszkał kardynał, pozostawiono do dzisiaj w niezmienionym stanie. Na ścianach tego pokoju zachowały się wykonane przez niego własnoręcznie stacje drogi krzyżowej w postaci małych krzyżyków z podpisami, narysowanych ołówkiem wprost na tynku.
W 1972 r. prymas spłacił swoisty dług wobec gospodarzy sanktuarium, dekorując koronami papieskimi cudowną figurę Matki Bożej Rywałdzkiej. Według tradycji została ona pierwotnie wykonana dla kaplicy zamku krzyżackiego w Radzyniu Chełmińskim. Wkrótce potem w nieznanych okolicznościach (według legendy: cudownie) przeniesiono ją do Rywałdu. Od 1748 r. opiekunami sanktuarium byli bracia mniejsi kapucyni, przedstawiciele najmłodszej linii zakonu franciszkańskiego, których do Polski sprowadził król Jan III Sobieski. Klasztor został skasowany przez władze pruskie na początku XIX w., lecz w 1947 r. decyzją władz kościelnych kapucyni powrócili na stare miejsce.
Otoczona kultem figura należy do typu tzw. Pięknych Madonn Tronujących, popularnego w sztuce gotyckiej na przełomie XIV i XV w. Jej osobliwością są peruki bujnych włosów, które zakłada się na głowy Matki Bożej i małego Jezusa. Obyczaj ten stał się źródłem legendy o cudownym odrastaniu włosów Maryi. Faktem jest natomiast to, że w 1930 r. doszło tutaj do cudownego uzdrowienia dziecka pewnej Cyganki. Uszczęśliwiona matka obcięła swoje bujne włosy i ofiarowała je Matce Bożej jako wotum dziękczynne. Wydarzenie to stało się początkiem szczególnego kultu, jakim figura rywałdzka cieszy się wśród polskich Romów. W kronikach sanktuarium wspomina się zwłaszcza rok 1949, w którym przybyła tutaj wielka pielgrzymka Cyganów z ich "królem" na czele, aby podziękować za ocalenie od śmierci w czasie II wojny światowej, podczas której prześladowano ich tak samo jak Żydów.