Pałac w Modłej został zbudowany w stylu późnego renesansu w latach 1564-1567 przez ówczesnego właściciela całej posiadłości Mikołaja von Bibrana. Po śmierci Mikołaja w 1614 roku majątek wraz z pałacem przejął członek rodziny baron Henryk von Bibran znany jako radca dworu cesarskiego i podkomorzego króla polskiego Władysława IV Wazy.
W kolejnych latach, aż do drugiej połowy XIX wieku, pałac należał do rodu von Bibranów. W 1857 roku majątek w Modłej został przekazany w spadku Wilhelminie von Block-Bibran, która została żoną hrabiego Aurela von Rittberga. Od tamtej pory pałac należał do rodu von Rittbergów. Pierwotnie pałac wzniesiony na planie prostokąta na miejscu dawnego dworu.
Kilka razy przeszedł znaczne przebudowy w XVIII i XIX wieku, w których dobudowywano kolejne skrzydła. Posiadał trzy i cztery kondygnacje z okrągłymi wieżami w narożnikach. Po licznych przebudowach budowla połączyła w sobie kilka stylów: rokokowy, renesansowy i klasycystyczny. Po II wojnie światowej pałac był w nienaruszonym stanie lecz opuszczony ulegał ciągłej dewastacji i powoli popadał w ruinę. W 1973 roku został częściowo rozebrany. Obecnie na terenie posiadłości pozostały niewielkie zarośnięte ruiny pałacu, zabudowania folwarczne i bramy wjazdowe.