Mimo, że przez ponad 300 lat należał do Przebendowskich, Kossowskich, Zawiszów i Radziwiłłów, to przez 36 powojennych lat kojarzył się z Leninem, gdyż właśnie tu umieszczono muzeum gromadzące pamiątki po przywódcy Rewolucji Październikowej 1917 roku.
Jednakże to skojarzenie szybko zatarł czas, od 22 lat przecież mieści się w budynku Muzeum Niepodległości, które w sposób trwały zapisało się już w powszechnej pamięci.
Tereny położone wokół obecnej Alei Solidarności należały przed wiekami do kościoła św. Krzyża. Pierwszym, który wystawił sobie w tym miejscu całkiem okazały dwór, był wojewoda podlaski Wojciech Niemira, który zamieszkał w nim wraz z rodziną w XVII wieku. Pod koniec wielu przyszło do Warszawy „morowe powietrze” i zaraza straszliwa zdziesiątkowała ludność. Ludzie marli tysiącami – na 40 mieszkańców zaludniających ówczesny Zamek Królewski ocalały tylko 3 osoby. W pałacu Kazimierzowskim, gdzie spokojny żywot wiodło 50 osób, ocalało osiem. Dżuma tak się rozprzestrzeniła w ówczesnej Warszawie, że niejednokrotnie ginęły całe zawody. Brakowało szewców, krawców, kowali! Opustoszał także dwór Wojciecha Niemiry, wkrótce zresztą rozebrany.
W strachu przed powrotem zarazy nowy właściciel, Jan Jerzy Przebendowski starannie wypalił ziemię. Na tak zdezynfekowanej przestrzeni wystawił dopiero dość solidne lokum. Z że był ulubieńcem i towarzyszem zabaw Augusta II, pożyczył od niego sporą sumę pieniędzy, wystarczającą do wybudowania i wyposażenia luksusowego domu. Przebendowski tak się z Majestatem spoufalił, że królewskich pieniędzy – notabene pożyczonych z państwowej kasy – nigdy nie oddał. Dzięki temu Deybel mógł w zaprojektowanym przez siebie pałacu wprowadzić rozmaite nowinki. Była tu pompa żelazna do „ciągnięcia wody” i rynna, którą spływały pomyje i stajnia dla 26 koni.
Po jakimś czasie Przebendowski wystawił swoją siedzibę na licytację. Nabył ją Roch Kossowski, słynący z zasług nie własnych, ale z niezwykłej urody swojej żony Barbary, której wdziękiem zachwycali się wszyscy. Kossowska urodę zachowała do późnej starości. Stary Roch zmarł w roku 1806, ale pałac w jego rodzinie pozostał. Aby ratować nie najlepszą sytuację finansową rozpoczęto – tak powszechne później – wynajmowanie sal „ludziom i aktorom”. Największy jednak dochód przyniosło rodzinie Kossowskich wynajęcie części pomieszczeń Fabryce Wszelkich Wyrobów Metalowych, wytwarzającej na masową skalę różne odznaki, herby, guziki, zwłaszcza do mundurów. Jeszcze po II Wojnie Światowej w gruzach, jakie pozostały po pałacu, znajdowano rozmaite metalowe przedmioty i odznaki.
Następny właściciel rezydował w nim krótko, a utrwalił się w jego historii tym, że kazał budynek wyremontować, zaś jego dachy pokryć papą.
Kolejnym właścicielem pałacu był Jan Kazimierz Zawisza – znawca antyku, archeolog, człowiek światły i szczodry. Ten spolonizowany do cna Litwin bardzo polubił Warszawę i mocno był z nią związany. Znaczną sumę pieniędzy przeznaczył na remont kolumny Zygmunta, dokonał też gruntownej przebudowy pięknego pałacu. Na jego polecenie Henryk Siemiradzki – bardzo wzięty i popularny w tamtych latach artysta – namalował w westybulu ogromny plafon „Światło i mrok”. Jan Kazimierz Zawisza zmarł w roku 1887, a pałacyk przejęła jedna z jego córek – Maria, przyszła zona Michała Radziwiłła. Po śmierci męża stała się jedyną właścicielką pałacu i sprzedała go Januszowi Radziwiłłowi z Nieborowa. Trwała wtedy wielka wojna, zbliżał się rok 1915.
Janusz Radziwiłł był postacią niezwykłą – poseł, potem senator II Rzeczypospolitej, wreszcie przewodniczący sejmowej Komisji Spraw Zagranicznych. W pałacu przyjmował co wybitniejszych i bardziej znaczących mężów stanu.
Przyszła jednak II wojna, potem Powstanie i w końcu nastała Polska Ludowa. Księcia Janusza deportowano do Moskwy, a potem jeszcze dalej w głąb Kraju Rad. W Krasnogorsku zmarła mu zona, a on sam powrócił do kraju po trzech wyjątkowo trudnych latach. Nie zamieszkał już w pałacu. Zajęły go związki zawodowe po adaptacji pomieszczeń, dokonanej przez Brunona Zborowskiego, który dość okrutnie obszedł się z resztkami starej architektury. Rozebrano skrzydła boczne i oficyny. Ze starego budynku nie pozostało nic poza układem komnat. Ten okaleczony pałacyk, wciśnięty w betonowe blokowisko, oplątany siecią torów i trakcji, tkwi dziś na maleńkiej wysepce, niczym przybysz z innego świata.