Kult maryjny jest ściśle związany z dziejami Radomyśla. Jego początki sięgają XV wieku,kiedy to okoliczni pasterze wznieśli ubogą kapliczkę na Górze Zjawiennej. Szczególną czcią otaczali Matkę Bożą Bolesną, której wizerunek umieścili w tej kapliczce. Z czasem miejsce to stało się celem pielgrzymek pątników, proszących Maryję o potrzebne łaski. Doznając pocieszenia, wracali do domów z radosnymi myślami.
Drugi obraz do którego zmierzali pielgrzymi znajdował się w drewnianym, nieczynnym już kościele. To niezwykły wizerunek Matki Bożej Pocieszenia. Postać Matki Bożej trzyma w dłoni pasek skórzany od spodni, symbol pomocy. U jej stóp klęczą św. Augustyn i jego matka św. Monika, która trwającymi kilkadziesiąt lat modlitwami wybłagała u Boga nawrócenie syna.
Obydwa obrazy zostały przeniesione do nowego, murowanego kościoła pw. Matki Bożej Bolesnej i Pocieszenia,oddanego wiernym w roku 2009. Nad wejściem do nowego kościoła stanęła prawdopodobnie największa w Polsce rzeźba św. Józefa, wysoka na 6,2 metra, trzymającego na ręku Jezusa. Kamień węgielny pod budowę kościoła pochodzi z domku z Nazaretu, w którym mieszkała Święta Rodzina.