W 1391 r. książę Władysław Opolczyk oddał Krzyżakom Ziemię Dobrzyńską jako zastaw. Aby utrwalić tu swoje panowanie, na wysokim brzegu Wisły wznieśli okazały, murowany zamek. Miał im ułatwiać sprawowanie kontroli nie tylko nad całą ziemią dobrzyńską, ale i żeglugą na Wiśle, głównym szlaku handlowym Polski.
Krzyżackie plany zagospodarowania się tu na stałe spaliły na panewce, bowiem już w 1404 r. Bobrowniki wraz z Ziemią Dobrzyńską zostały wykupione z ich rąk. Krzyżacy nie dali jednak za wygraną. Po wybuchu wielkiej wojny z zakonem w 1409 r. oblegali zamek pod wodzą samego mistrza Ulryka von Jungingena. Nieliczną i skąpo zaopatrzoną załogą zamku dowodził Warcisław z Gotartowic. Kiedy Krzyżacy za pomocą bombard uczynili wyłom w murze zamkowym, Warcisław, nie widząc możliwości obrony, poddał zamek. Obarczony odpowiedzialnością za upadek warowni przez króla Władysława Jagiełłę, został wraz z rycerzami z załogi wtrącony do lochu jednej z wież zamku w Chęcinach. Ciążącą na nich hańbę zmazali walcząc na polach Grunwaldu, a zamek w Bobrownikach w tym samym roku znalazł się już na zawsze w polskich rękach.
Od XVIII w. zamek jest malowniczą ruiną. Jak każde porządne zamczysko również i on ma swoje tajemnice. Jedne legendy mówią o pokutującym tu do dziś duchu starosty Warcisława, inne o białej damie i zakopanych skarbach. Krążą również opowieści o tunelu pod Wisłą, który ponoć łączy ruiny z zamkiem w Raciążku.