Pierwotnie w tym miejscu stał dwór obronny, zbudowany najprawdopodobniej w 1581 r., później kilkakrotnie przebudowany. Zmieniali się też jego właściciele. Dwór, nazywany już zamkiem, następny właściciel Jan Koryciński odsprzedał w 1625 r. Stanisławowi Koniecpolskiemu, który przekazał go swemu bratankowi Janowi Koniecpolskiemu, założycielowi Janowa. Kolejnymi właścicielami zamku byli Potoccy, a następnie - z nadania carycy Katarzyny II - przejęli go książęta kurlandzcy, Bironowie, którzy nie mieszkali w Potoku.
Niezamieszkany zamek stopniowo podupadał i następni właściciele (Szaniawscy, a później Pruszakowie) nie remontowali go i użytkowali tylko część budynku, mieszkając we dworze w Żurawiu. W 1829 r. nie nadający się do zamieszkania zamek przejął siostrzeniec Pruszaków, Stanisław Leski. Wybudował on obok zamku parterowy dworek, w którym mieszkali kolejni właściciele Potoku - Skarżyńscy i Pintowscy. Posiadłości potockie były wtedy zadłużone, a zamek stał pusty i obracał się w ruinę.
W 1851 r. dobra złotopotockie zakupił generał hr. Wincenty Krasiński i on przebudował w 1856 r. zamek na rezydencje pałacową w stylu pseudoklasycystycznym z elementami neorenesansowymi. Rok później, w 1857 r. spędzał tutaj wakacje wraz z rodziną Zygmunt Krasiński. Jesienią zmarła najmłodsza córka poety - 4-letnia Elżbietka, pochowana w kościele w Złotym Potoku. Od tej pory pałac stał nie zamieszkany aż do 1877 r., kiedy to sprowadziła się tutaj starsza córka Zygmunta Krasińskiego - Maria Beatrix, która wyszła za mąż za hr. Aleksandra Raczyńskiego. Pałac został wtedy wyremontowany i wyposażony w meble, obrazy i sprzęty. Po wczesnej śmierci Marii Raczyńskiej od 1886 r. do 1903 r. w pałacu mieszkał plenipotent małoletniego wnuka poety, Karola Raczyńskiego, Tadeusz Dzierżykraj-Morawski herbu Nałęcz.
W latach 1903-1905 pałac został gruntownie przebudowany wg projektu Jana Heuricha i Zygmunta Hendla. Hrabia Karol Raczyński ożenił się z księżną Stefanią Czetwertyńską i przygotował pałac jako swoje gniazdo rodzinne. Front zwrócony na zachód zdobi pięcioosiowy ryzalit, zakończony trójkątnym przyczółkiem z kartuszem herbowym. W północnym skrzydle znajdowała się romantyczna wieża, którą ze względów strategicznych rozebrano w połowie 1939 r.
Przed portykiem zdobiącym główne wejście do pałacu ustawione są dwa marmurowe lwy, podtrzymujące tarcze z herbami: Nałęcz (Przewiązka) - hrabiów Raczyńskich i Czetwertyński I (Święty Jerzy zabijający smoka) - książąt Czetwertyńskich. Były one na czas wojny zakopane w miejscu, w którym obecnie stoją. Podczas wojny hitlerowcy zajęli pałac i przenieśli Raczyńskich do dworku. W 1944 r. wysiedlili rodzinę właścicieli do Częstochowy, aby nie widzieli dokonywanej kradzieży. Najcenniejsze elementy wyposażenia pałacu Niemcy wywieźli w 1945 r. Resztę zniszczyli po wkroczeniu Rosjanie.
Po wojnie władze komunistyczne zabroniły Raczyńskim powrotu do Złotego Potoku pod groźbą aresztu, a dobra złotopotockie zostały rozparcelowane jako pierwsze w kraju. Ostatni właściciel Złotego Potoku, hr. Karol Raczyński, wnuk Zygmunta Krasińskiego zmarł w nędzy w Łodzi w 1946 r. i został pochowany w złotopotockim kościele. Jego żona Stefania z Czetwertyńskich wyjechała po śmierci męża do Anglii. Pozwolono jej zabrać ze sobą tylko jedną walizkę. Po wojnie w pałacu mieściło się Technikum Rolnicze, później Wojewódzki Ośrodek Postępu Rolniczego, a następnie oddział Zespołu Parków Krajobrazowych. Po wojnie budynek był kilkakrotnie remontowany. Hol parteru zdobią pary kolumn i dekoracja stiukowa. Zachowała się zabytkowa drewniana klatka schodowa, a na piętrze część boazerii przytrzymującej tapety z materii. Z dawnego wyposażenia pałacu pozostały także szafy biblioteczne i kredens kuchenny oraz nieliczne meble i obrazy eksponowane w Dworku Krasińskiego. Obecnie Pałac zarządzany przez Starostwo stoi pusty.