Niewiele wsi w Polsce (a zapewne nie tylko w Polsce) może się pochwalić aż dwoma zamkami na swoim terenie. Rożnów należy do tych wyjątkowych. Starszy obiekt wzniesiono w latach 1350-1370 na miejscu dawnej strażnicy, na stromym wzgórzu w zakolu Dunajca. Był zbudowany z kamienia na planie prostokąta o wymiarach 44 na 20 m.
Fundatorem twierdzy mającej pełnić funkcję rezydencji rycerskiej był Piotr Rożen. Posiadłość często zmieniała właściciela, a najsłynniejszym z nich był Zawisza Czarny, rycerz Władysława Jagiełły, bohater spod Grunwaldu. Zamieszkał tu wraz z rodziną około 1425 r.
W drugiej połowie XV w. warownia znalazła się we władaniu rodziny Tarnowskich. Ze względu na ograniczone miejsce pod rozbudowę niewystarczająco już reprezentacyjnej rezydencji hetman Jan Tarnowski postanowił wznieść nową siedzibę w dolinie Dunajca. Po jej ukończeniu w pierwszej połowie XVI w. "górny" zamek stopniowo popadał w ruinę. Do dziś zachowały się jedynie fragmenty wieży i kaplicy, które jednak warto zobaczyć. Nowa budowla miała pełnić nie tylko funkcję reprezentacyjną, ale także - a może przede wszystkim - rolę fortecy strzegącej doliny Dunajca i drogi w głąb kraju przed inwazją turecką. Budowla nigdy nie została ukończona. Jej częścią jest kamienna beluarda, czyli rodzaj obronnego bastionu na planie pięcioboku o ścianach 3-metrowej grubości. To pierwszy tego typu obiekt w polskiej architekturze militarnej i duża atrakcja turystyczna. Oprócz niego zachowały się mur, dwukondygnacyjny budynek bramny i ludwisarnia - pierwsza w Polsce, gdzie odlewano armaty. W pobliżu na Dunajcu zbudowano tamę, dzięki której powstało malownicze Jezioro Rożnowskie.