Dziwnym, ale i ciekawym miejscem była Święta Góra położona ok. 3 km od Polanowa. Kiedy chrystianizowano Pomorze, była ostoją pogaństwa, kiedy do kościołów wkraczała reformacja - trwała w kulcie maryjnym. Rozkwit Polanowa przypadł na X-XII w., kiedy to dokonywało się na Pomorzu "zbożne dzieło" chrystianizacji. W 1124 r. przybył na te ziemie z misją Otton, biskup Bambergu. W owym czasie góra była ważnym miejscem kultu pogańskiego. Szczyt jej był mocno obwarowany, a fosy i wały chroniły przed obcymi. Jednak nowa religia stopniowo wyparła pogańskie bożki. Pierwsza wzmianka o kaplicy pw. NMP na Świętej Górze pochodzi z 1385 r.
Z XV w. pochodzą wzmianki o pielgrzymujących do świętego miejsca przestępcach. W tradycji przechowało się przysłowie - "Otwarte, jak wrota kościoła w Polanowie". Przysłowie to ma racjonalne wyjaśnienie. Kiedy Góra Polanowska była miejscem kultu maryjnego i przyciągała pątników z całej niemal Europy, kaplica zawsze była dla nich otwarta. Ale drzwi zniszczyły się i trzeba było założyć nowe. Choć usiłowano je zamknąć na klucz, nowe wrota same się otwierały... Święta Góra podzieliła los innych świętych miejsc Pomorza, choć bardzo długo opierała się wpływom reformacji. Kult Matki Bożej został na Pomorzu zakazany, a kaplicę na Świętej Górze zniszczono. Wyposażenie rozgrabiono, mury rozebrano, po kaplicy pozostał ślad jedynie w ludowych przekazach. Współcześnie kult maryjny na Górze Polanowskiej zaczął się odradzać za sprawą franciszkańskich pustelników, którzy kontynuują dzieło otwartych wrót. Warto zobaczyć główne uroczystości, które celebruje się tu w ostatnią niedzielę maja. 6 czerwca 1999 r. w Pelplinie Jan Paweł II poświęcił kamień pod budowę pustelni na szczycie Świętej Góry, a w 2004 r. w pustelni zamieszkali pierwsi czterej zakonnicy.