Pierwsze wzmianki o wsi Bartodzieje (pierwotnie Bercogel) pochodzą z 1191 roku i dotyczą przyznania dziesięciny kolegiacie przez Kazimierza Sprawiedliwego. Następnie wzmiankowana była w 1260 roku jako Bartodzey, natomiast w 1419 roku wspominana w źródłach przez Długosza jako Barthodzeye. Jest to najstarsza wieś na ziemi radomskiej.
Pierwszym odnotowanym właścicielem wsi Bartodzieje był Jan zwany Głowaczem, który był założycielem Leżanic i posiadaczem miasta Głowaczów. W 1419 roku część wsi nabył Jan Droboth herbu Doliwa. Pozostałą częścią nadal zarządzali potomkowie Głowacza. W 1485 roku współdziedzicem wsi był Hieronim syn Sędziwoja. W drugiej połowie XV wieku wieś była dziedziczona przez Mikołaja i Jana herbu Doliwa. W 1508 roku Bartodzieje znajdowały się w rękach Stanisława i Anny Bartodziejskich. W 1565 były jedną z dziesięciu szlacheckich wsi, które wchodziły w skład parafii Goryń. Wówczas właścicielami jej były rodzina Drobothów, która posiadała dwa łany, oraz rodzina Barnatów, do której należały trzy łany. W 1569 roku część wsi o powierzchni dwóch łanów była własnością Jan Dorbotha, natomiast druga składająca się z 2,5 łanów była w posiadaniu Jana Bartodziejskiego herbu Łabędź. W drugiej połowie XVII wieku wsią władała rodzina Duninów herbu Łabędź, a po nich dziedziczyła rodzina Baranowskich herbu Ostoja. Na początku XVIII wieku posiadaczem wsi był Piotr Godlewski herbu Jelita, właściciel Gorynia. W 1726 roku od Piotra Godlewskiego część wsi zakupiła rodzina Szymanowskich. W 1738 roku wieś była posagiem Marianny Zielińskiej, która wyszła za Józefa Puławskiego. W ramach spadku dobra odziedziczył syn Antoni. Był on bratem Kazimierza Puławskiego - bohatera walk o wolność dwóch narodów, polskiego i amerykańskiego, jednego z dowódców i marszałka konfederacji barskiej, generała oraz bohatera wojny o niepodległość USA.
W 1776 roku we wsi mieściło się siedemnaście domów. W 1770 roku Antoni Puławski przekazał fragment Bartodziejów swojemu szwagrowi Józefowi Krzywickiemu, a pozostała część była we władaniu Cichockiego, który wydzierżawił ją Tomaszowi Pomianowskiemu. W 1792 roku Józef Krzywiki wykupił tą część wsi od Cichockiego. Bartodzieje dziedziczyli synowie Józefa, najpierw Ignacy, a po nim w 1825 roku Stanisław, zaś po jego śmierci w 1830 roku prawa do spadku nabyli synowie Ludwik i Adam oraz córki Elżbieta i Sabina. Rodzeństwo podjęło decyzję o sprzedaży majątku i podziale spadku. Pod koniec 1830 roku Bartodzieje nabył mieszkaniec Warszawy Wawrzyniec Mikulski. Majątek przejął w 1832 roku dopiero po zakończeniu dzierżawy przez Trępczyńskiego.
Budowę murowanego dworu rozpoczęto w latach 30. XIX wieku. Dwór został wzniesiony na planie prostokąta, z dwoma skrzydłami po bokach elewacji ogrodowej oraz znajdującym się między nimi tarasem ze schodami. W drugiej połowie XIX wieku do pierwotnego budynku dobudowano przed drzwiami wejściowymi czterokolumnowy portyk z trójkątnym szczytem oraz od zachodniej strony budowli piętrową wieżę z czterospadowym dachem. W okresie międzywojennym do wschodniego skrzydła dodano klatkę schodową i kilka pomieszczeń, w tym pokój dla służby.
W 1837 roku bartodziejskie dobra należały do Jana Kuszyńskiego. W 1842 roku majątek oddziedziczyła żona Antonina z Bielskich. W 1844 roku w wyniku licytacji nabył go Andrzej Deskur, właściciel Gorynia. Przez dwadzieścia sześć lat był we władaniu rodziny Deskurów, następnie w 1861 roku przeszedł w ręce rodu Gordonów. W 1883 roku spadkobiercy sprzedali Bartodzieje Zenonowi Jakackiemu, w 1886 roku ich właścicielem została Maria Strojanowska, natomiast w 1897 roku przeszły w ręce Bronisława i Marii Maleszewskich. W 1912 roku wieś oddziedziczył Stanisław Jankowski. W okresie międzywojennym część ziemi została rozparcelowana i sprzedana.
W 1939 roku majątek ziemski liczył około 50 hektarów. W czasie II wojny światowej rodzina Janowskich została wysiedlona, a dwór stał się ośrodkiem wypoczynkowym dla oficerów Wehrmachtu. Janowscy pod koniec 1944 roku powrócili do Bartodziejów. Majątek ze względu na wielkość nie podlegał reformie rolnej. W 1988 roku dwór od rodziny Janowskich kupiła Krystyna Gancarczyk-Hjorth. Obecni właściciele po kilku latach przebywania w Bartodziejach porzucili swoją własność i wyemigrowali do Szwecji. W listopadzie 2003 roku dwór spłonął w wyniku podpalenia i od tej chwili jest w stanie ruiny.