Zaniedbany i opuszczony, piękny niegdyś budynek jest dowodem bogactwa tych ziem przed II wojną światową. Dwór zbudowano pod koniec XIX wieku, rządzili tu Żychlińscy, Jaworowicze, Wolcke. Po wojnie przyszli Polacy. Poniemiecki majątek nie był wart ochrony i starań, traktowano go rabunkowo. Taka była polityka naszego powojennego rządu. W byłym majątku obejmującym również spory folwark rządził PGR, mieszkali pracownicy, mieściła się kawiarnia i tętniący życiem klub. Park wokół dworku w ciepłe wieczory tętnił odgłosami imprez, po zakończeniu żniw co roku odbywały się przed pałacem dożynki.
Dwór nie miał szczęścia do zamieszkujących go mieszkańców. Dzisiaj jest niemal ruiną. Pozostała piękna bryła z ciekawymi resztkami elementów i dekoracji, ośmioboczną wieżą, gankiem, tarasami, balustradami i schodami. W jednym z pomieszczeń zachowały się elementy sztukaterii sufitowej. W dawnym parku dworskim na przełomie maja i czerwca kwitnie tulipanowiec, warto go poszukać, choć dostępu bronią wysokie chaszcze.
Dzisiaj Panowice to „dziura zabita dechami” – tak mówią o niej sami mieszkańcy, choć jest i ładna, wyremontowana sala wiejska, sportowe boisko, piękne, jagodowe i grzybowe lasy dookoła. Pracę daje prężny prywatny zakład Taborex. Ale bruk jest jeszcze przedwojenny, stacja kolejowa również, nowe domy prawie nie powstają, życie zamarło, a młodzież przeniosła się do miast. Obecnie dwór znajduje się w rękach prywatnych i widnieje na portalach z nieruchomościami wystawiony na sprzedaż.
W Panowicach znajdował się też cmentarz niemiecki, w polu w lasku – trzeba pytać starych mieszkańców.