Pierwsza wzmianka o Karczmiskach posiadających wtedy nazwę Krampa, pochodzi z kroniki Długosza, który opisuje wieś jako dawny majątek zakonny, nadany przez króla Kazimierza Sprawiedliwego norbertankom z podkrakowskiego Zwierzyńca. W czasach Długosza była to ponownie wieś królewska. W wieku XIV właścicielami byli Ostrowscy a następnie arystokratyczne rody Firlejów, Lubomirskich, Radziwiłłów, Sanguszków i Sapiehów. Nie ma zgody co do pochodzenia nazwy miejscowości. Jedni wywodzą ją od poprzedniej nazwy Krampa, inni od pozostałości po karczmach stojących przy biegnącym tędy niegdyś szlaku z Niemiec na Ruś. W 1628 roku wieś była wymieniona już pod dzisiejszą nazwą.
Żaden z przedrozbiorowych właścicieli nie wystawił w Karczmiskach swojej rezydencji. Istniał tu jedynie folwark z domem, zarządzany przez drobniejszą szlachtę. W latach 1800-1813 właścicielką była Anna z Sapiehów Potocka. W 1819 roku właścicielką została Anna z Zamoyskich Sapieżyna (która prawdopodobnie zbudowała murowany dworek), a w 1829 r. jej zięć - książę Adam Jerzy Czartoryski. Po powstaniu listopadowym majątek został zarekwirowany przez władze carskie. Kolejnymi właścicielami byli pochodzący z Węgier Wesslowie, którym przypisuje się rozbudowę dworu, a następnie od 1908 r. Strażycowie.
Po II wojnie światowej majątek został znacjonalizowany i przeznaczony na spółdzielnię rolniczą, a następnie na szkołę i dom kultury. Zespół dworski został wpisany do rejestru zabytków w 1979 roku. Oprócz dworu na zespół składają się: otaczający dwór park, rządcówka przeniesiona w 1970 r. z folwarku Strażyszcze (obecnie dom nauczyciela), spichlerz (obecnie urząd gminy), obora wykorzystywana jako warsztaty oraz fragmenty zabytkowego ogrodzenia.