W 1386 r. Wojciech z Potoka herbu Jelita, właściciel wsi, wystąpił jako rycerz w świcie księcia Władysława Opolczyka, gdy ten odwiedzał swoje opolskie posiadłości w Woźnikach. Wojciech oprócz Potoka był także właścicielem Trzebniowa oraz Mokrzeszy, i to on prawdopodobnie zaczął budowę zamku na Ostrężniku, być może na polecenie i za pieniądze księcia Władysława.
Zamek był, jak na owe czasy, bardzo obszerny. Składał się z zamku dolnego i górnego, oddzielonych od siebie głęboką fosą wypełnioną wodą, doprowadzaną z górnego, nieczynnego już dzisiaj źródła. W południowej części wznosiła się wystająca na zewnątrz murów czworokątna baszta o wymiarach 6 x 9 m (widoczna jeszcze dzisiaj), pod którą znajdowały się podziemia, obecnie zasypane. Od strony południowej stok wzgórza opada do głębokiej fosy. Poza nią znajdował się zamek dolny o pow. ok. 7200 m². Prowadzone badania ujawniły przygotowany do budowy, usypany w sterty kamień wapienny oraz ceramikę i monety z okresu Cesarstwa Rzymskiego.
Najprawdopodobniej zamek na Ostrężniku funkcjonował krótko i został zburzony w 1391 r. przez ekspedycję karną, wysłaną z Krakowa przez króla Władysława Jagiełłę przeciwko księciu Władysławowi Opolczykowi. Zamek na Ostrężniku jest najbardziej tajemniczą warownią na Szlaku Orlich Gniazd, gdyż nie zachowały się żadne pisemne wzmianki na jego temat. Dzisiaj z zamku zostały jedynie resztki baszty i murów oraz przyziemia. Żywe są natomiast legendy o ukrytych tu skarbach. Warto zobaczyć to ciekawe miejsce, przyjeżdżając do Złotego Potoku na weekend.