Prawie w centrum miasta, kilkaset metrów na północ od rynku, wznoszą się majestatyczne gmachy rezydencji dawnych właścicieli Żar. Patrząc na ten monstrualny kompleks budynków, który kubaturą nie ustępuje chyba zbyt wiele zamkowi wielkich mistrzów krzyżackich w Malborku, trudno sobie wręcz wyobrazić, że dawniej było to po prostu luksusowe mieszkanie dla jednej zamożnej szlacheckiej rodziny! Skojarzenie z zamkiem krzyżackim nie jest tu przypadkowe. Podobnie jak większość warowni tego zakonu w Prusach, rezydencja w Żarach składa się z dwóch wyraźnie oddzielonych części: warownego zamku na planie kwadratu z wysoką wieżą oraz sąsiadującego z nim prostokątnego pałacu z wewnętrznym dziedzińcem i monumentalną barokową fasadą od strony miasta. Ten pierwszy to dawna średniowieczna forteca możnego rodu Bibersteinów, przebudowana w XVI w. przez Baltazara Promnitza na renesansowy pałac z arkadowymi krużgankami. Ten drugi to nowy pałac wzniesiony przez Promnitzów w pierwszej ćwierci XVIII w. Krótko przed rozbudową, w latach 1704-1706 kierownikiem kapeli dworskiej w Żarach był Jerzy Filip Telemann, słynny barokowy kompozytor, który w tym czasie dopiero zaczynał swoją błyskotliwą karierę. W roku 1705 kapela Promnitza umilała pobyt w Żarach elektorowi saskiemu i królowi polskiemu Augustowi II, a Telemann odbył potem dwuletnią podróż po Polsce, której echa słychać w jego ówczesnych kompozycjach.
Świetność żarskiego pałacu skończyła się wraz z wymarciem Promnitzów pod koniec XVIII w. i przejściem ich dóbr po 1815 r. na własność państwa pruskiego. Stary zamek zamieniono wówczas pruskim zwyczajem na więzienie, a w pałacu mieściły się różne urzędy. Z II wojny światowej obiekty te wyszły obronną ręką, lecz wkrótce potem zaczęła się powolna dewastacja, która doprowadziła je do niemal całkowitej ruiny. Po 1989 r. podjęto kilka prób prywatyzacji i rewitalizacji zespołu, które obecnie mają chyba szansę zakończyć się sukcesem. Dawna rezydencja Promnitzów jest w trakcie odbudowy, dzięki której zamek stanie się, między innymi, siedzibą muzeum, a pałac zostanie przekształcony w ekskluzywne centrum handlowe i hotel.