Niemal do końca XVIII w. Ryczów był w posiadaniu zakonu cystersów z podkrakowskiej Mogiły. Po trzecim rozbiorze Polski ziemie zakonne zostały skonfiskowane przez Austriaków. Nowymi właścicielami wsi została arystokratyczna rodzina Dzieduszyckich, a od 1855 r. rodzina Drohojowskich.
Pałac w eklektycznym stylu arkadowym, łączącym cechy romańskie i renesansowe został wybudowany przez Tytusa Drohojowskiego w latach 1862 - 1864. Wokół pałacu został urządzony park w stylu angielskim. Ten sam właściciel ufundował kaplicę na grobie swojej żony, pochowanej na miejscowym cmentarzu.
Pałac został odziedziczony przez córkę Tytusa – Józefę. W 1936 podupadły majątek został kupiony przez generała Zygmunta Piaseckiego, żołnierza Legionów Polskich i ówczesnego dowódcę Krakowskiej Brygady Kawalerii. Generał Piasecki był jedynym polskim kawalerzystą odznaczonym trzykrotnie krzyżem Virtuti Militari. Podczas kampanii wrześniowej 1939 r. generał dostał się do niewoli, gdzie przebywał do końca wojny, a majątkiem zarządzała jego żona Zofia.
W 1945 r pałac został zajęty przez armię sowiecką i przeznaczony na szpital polowy. Część dobytku właścicieli wraz z archiwum generała i pamiątkami rodzinnymi została uratowana i wywieziona do Krakowa. Zofia Piasecka wraz z dziećmi została wyrzucona z pałacu przejętego przez państwo. Władze PRL zorganizowały w pałacu urząd gminy i sklepy. Jak to zwykle bywało w latach powojennych z tego typu obiektami, „ludowe” zarządzanie doprowadziło budynek do ruiny.
W 1991 r. pałac wraz z otaczającym go parkiem został odkupiony przez córkę generała Piaseckiego – Zofię Piasecką – Tarabułę, żonę wybitnego malarza i profesora krakowskiej ASP Janusza Tarabuły. Pałac został odnowiony, powstała w nim galeria obrazów zgromadzonych przez wnuczkę generała Piaseckiego, właścicielkę krakowskiej Galerii Zderzak – Martę Tarabułę. Od 2010 w pałacu prowadzi działalność Fundacja Pałac w Ryczowie założona przez właścicieli majątku. Od 2014 r. roku w pałacu funkcjonuje Izba Pamięci Generała Zygmunta Piaseckiego.
Z pałacem wiąże miejscowa legenda mówiąca o duchu jednego z właścicieli, barona Mieczysława Błażowskiego herbu Korczak – zięcia budowniczego pałacu, hazardzisty, który doprowadził majątek do finansowej ruiny, po czym popełnił samobójstwo. Duch straszył mieszkańców Ryczowa niemal do końca XX w. i trafił nawet do Leksykonu Duchów Polskich i Katalogu Zjawisk Paranormalnych.
Od 1987 r. pałac wraz z parkiem znajduje się rejestrze zabytków. W parku znajdują się 24 pomniki przyrody, wśród nich rzadkie, ponadstuletnie okazy takie jak tulipanowiec amerykański, magnolia drzewiasta, cis pospolity czy krzewy azalii pontyjskiej.
Więcej szczegółów na temat pałacu można znaleźć na stronie www.palacwryczowie.org.