Historia wsi Krempna sięga czasów, kiedy to w I połowie XV w. znana była jako niemiecka kolonia Krummbach. Wieś została założona przez hrabiego Mikołaja Stadnickiego i stanowiła do połowy XVII w. część majątku ziemskiego. W 1510 r. dobra odziedziczył kasztelan sanocki Andrzej Stadnicki, a następnie w 1554 r jego synowie Marek i Mikołaj Stadniccy. Następnie właścicielami majątku ziemskiego ze wsią Krępna byli Wiśniowieccy, Józef Bobowski, Stanisław Grzembski, Józef Zubrzycki, Józef i Anna Cichońscy, Dankiewiczowie, Jan Lewicki i Józef Kalasenty Dankiewicz, Potuliccy.
Dokładna data budowa cerkwi św. Kosmy i Damiana nie jest znana, najprawdopodobniej została wzniesiona w XVI w. a następnie rozbudowana w 1778 lub 1782 r. jako świątynia orientowana o konstrukcji zrębowej trójdzielna z zakrystią przy prezbiterium. Cerkiew zbudowana jest jako konstrukcja wieży, słupowo ramowej z izbicą o pochyłych ścianach, słupy obejmują babiniec. Wokół znajduje się zachata, a nad nawą i prezbiterium kopuły namiotowe, dwukrotnie łamane, a całość kryta blachą.
W przedsionku usytuowany jest feretron z figurą Matki Boskiej, która to przez miejscowych grekokatolików uważana jest za cudowną i otaczana czcią. Wewnątrz znajduje się ikonostas namalowany w latach 1835-36 przez przemyskiego malarza Krasuckiego a także ażurowe carskie wrota ze sceną Zwiastowania i postaciami czterech Ewangelistów, a nad nimi scena Ostatniej Wieczerzy. Nad obrazem Ostatniej Wieczerzy, w następnej kondygnacji ikonostasu znajduje się Chrystus na tronie – Pantokrator, a po bokach ikony z postaciami apostołów. W zwieńczeniu namalowany jest krzyż, a po bokach znajduję się trzy ikony w ramach przedstawiające Proroków.
Drogocennym zabytkiem w cerkwi jest fragment ikonostasu datowany na 1664 r., który to przedstawia rząd Deesis z Chrystusem Pantokratorem w otoczeniu Matki Bożej i Jana Chrzciciela, a po bokach wizerunki 12 apostołów. W świątyni znajdują się jeszcze starsze dwie ikony prawdopodobnie z XIV w., które przedstawiają: jedna świętego Mikołaja, biskupa Miry, a druga to ikona Opieki Bogurodzicy.
Wieś Krempna bardzo mocno ucierpiała podczas I wojny światowej. Podczas walk część miejscowości spłonęła w pożarze, ale cerkiew ocalała. W okresie okupacji podczas II wojny światowej, wieś była ośrodkiem nacjonalistycznego ruchu ukraińskiego, po wojnie wysiedlono stąd ludność łemkowską, a na miejscu pozostały tylko cztery rodziny mieszane i unicki proboszcz ks. Jan Wysoczański, który to w latach 1947 - 57 odprawiał nabożeństwa w obrządku łacińskim dla napływowych mieszkańców.
W 1969 r. decyzją Biskupa Przemyskiego Ignacego Tokarczuka cerkiew stała się kościołem parafialnym p.w. św. Maksymiliana Kolbe i pełniła tą funkcję do 2004 r., kiedy to został wybudowany nowy kościół parafialny.