W średniowieczu wieś należała do możnego rodu Odrowążów. W miejscowym zamku w 1183 r. urodził się Jacek Odrowąż, zasłużony dominikanin, założyciel klasztorów na ziemiach ruskich, kanonizowany w 1594 r. Z kamieńskich Odrowążów pochodzili także błogosławieni Bronisława i Czesław. W XVII w. zamek przejęli von Larischowie. Dokonali gruntownej przebudowy warowni, przekształcając ją w okazały barokowy pałac. W 1701 r. historyczną komnatę, w której ponoć przyszedł na świat św. Jacek, zamieniono w kaplicę. Od tej pory rezydencja służyła pospołu von Larischom i pielgrzymom przybywającym tłumnie do sanktuarium św. Jacka.
Wojna, która dotarła do Kamienia w 1945 r., nie spowodowała znaczniejszych zniszczeń w pałacu. Do 1954 r. działał tu Państwowy Dom Dziecka. Miejsce dzieci zajęli potem żołnierze Armii Radzieckiej, lotnicy i personel naziemny położonego za pałacowym murem wojskowego lotniska. Obrońcy polskiego nieba spod znaku czerwonej gwiazdy doprowadzili pałac do całkowitej ruiny. W 1990 r. właścicielem ruin w Kamieniu została diecezja opolska Kościoła katolickiego. Po 4 latach ukończono remont i dzisiaj możemy podziwiać jego efekty. Pałac warto zobaczyć, bo po prostu lśni świeżością. Uznanie budzi niezwykła precyzja wykonanych prac konserwatorskich. Mieści się tu sanktuarium św. Jacka z ośrodkiem rekolekcyjno-ekumenicznym. W nowo urządzonej kaplicy jak dawniej odprawiane są nabożeństwa (w niedziele i święta o 11.30). Pałac jest także siedzibą Centrum Kultury i Nauki Wydziału Teologicznego Uniwersytetu Opolskiego. Największą atrakcją jest oczywiście kaplica oraz piękny przypałacowy park - otwarte codziennie, z wyjątkiem poniedziałków, w godzinach 8.00-20.00.