Pałac usytuowany jest we wschodniej części wsi, przy drodze prowadzącej z Dobieszowa do Pielgrzymowa. Jest typową budowlą barokowo-klasycystyczną - jedenastoosiową, fasada główna skierowana jest na wschód, środkowa część fasady, trójosiowa, zaakcentowana została przez lekkie wysunięcie do przodu oraz zwieńczenie trójkątnym przyczółkiem. Piętrowa budowla wzniesiona jest na rzucie prostokąta z dwoma ryzalitami po bokach elewacji frontowej.
Otoczenie pałacu stanowi park rozciągający się od wschodu i południa, obejmujący skarpę wzniesienia. Główny drzewostan parku stanowią lipy. Rosną tu również ponad 200-letni miłorząb, dąb szypułkowy, platany, tulipanowiec, sekwoja, cztery odmiany magnolii, pięć odmian bzu, kasztanowce i akacje. Kompleks flory tworzy z parku ciekawe miejsce.
Pałac pielgrzymowski w swojej obecnej postaci powstał w latach 1660-1690 r., razem z kaplicą zamkową (obecnie po stronie czeskiej) - wybudował go Wacław z Oppensdorfu - jakkolwiek najstarsza część pałacu od strony skarpy o wymiarach 13x13 metrów o ponad metrowych murach i kolebkowym sklepieniu sięga prawdopodobnie wieku XVI. Był tu prawdopodobnie kasztel obronny, do którego dobudowano obecną budowlę.