Położony dziś na uboczu Borów Polski, był niegdyś główną siedzibą rycerskiego rodu Rechenbergów. Pierwsza wzmianka o miejscowości „Borov poloaicali”, jaka pojawiła się w drugim dziesięcioleciu XIII w. sugeruje, że założyli ją polscy osadnicy. Dopiero później pojawiła się nazwa „Windischborau” (Borów wendyjski, czyli słowiański). Pierwszym Rechenbergiem wzmiankowanym jako właściciel Borowa był wymieniony w 1391 r. Heinrich von Rechenberg, który miał tutaj zbudować warowną siedzibę rodu. Gotycki kasztel był trzykondygnacyjny, zbudowany na rzucie prostokąta, otoczony fosą.
W latach 1548-50 Georg Rechenberg „pan Otynia i Borowa Polskiego” przeprowadził kapitalny remont i rozbudował siedzibę w stylu renesansowym. Dominantę założenia stanowiła cylindryczna wieża (runęła ok.1800 r.). Mimo przebudowy, zamek nie spełniał chyba oczekiwań rodziny, bo Rechenbergowie zdecydowanie częściej przebywali w Otyniu . Od 1649 r., kiedy na mocy zapisu testamentowego budowla została przejęta przez jezuitów i nie była przez nich użytkowana, stopniowo zaczęła ulegać degradacji.
W połowie XIX w. ówcześni zarządcy majątku zaadaptowali ocalałą, renesansową część zamku na spichlerz. Została zadaszona, a wewnątrz zainstalowano urządzenia dźwigowe. Różnorodne funkcje magazynowe pełniła aż do 1968 r., kiedy ostatecznie zawalił się dach i wszystkie stropy. Mimo wpisania w 1963 r. do rejestru zabytków, obiekt jest zaniedbany i ulega ciągłej destrukcji. Obecnie zamek zachowany jest jedynie fragmentarycznie (relikty gotyckich murów i renesansowego założenia), teren wokół niego jest zarośnięty a przed wstępem ostrzegają tablice informujące, że zamek grozi zawaleniem.