Zamek został wzniesiony najprawdopodobniej w XIV w . (w okresie między 1336 a 1370) przez nieznanego z imienia ojca Piotra i Klemensa Rożnów herbu Gryf. Budowla została wzniesiona – na planie prostokąta - na przewężeniu cypla, otoczonego pierwotnie zakolem Dunajca, obecnie znajduje się na brzegu zalewu rożnowskiego.
Ród Rożnów był właścicielem zamku do początku XV w., następnie był on własnością Mikołaja i Piotra Kurowskich. W 1426 r. zamek nabył Zawisza Czarny z Grabowa. Na początku XVI w. Rożnów z pobliskimi wsiami przeszedł na własność Leliwitów Tarnowskich. Już w tych czasach zamek nie był użytkowany i popadał w ruinę.
Do dziś zachowały się wysokie mury od strony południowej i wschodniej, fragment płd.-wsch. narożnika oraz dolne partie dwóch odcinków murów działowych.