3-komorowy spichlerz przy dzisiejszej ulicy Puławskiej 80 w Kazimierzu Dolnym został wybudowany w latach 80-tych XVII wieku na tzw. wyspie spichrzów, w centrum ówczesnego wiślanego portu znajdującego się u wylotu wąwozu Norowy Dół. Jak większość okolicznych budynków został wymurowany z łupanego wapienia pochodzącego z miejscowych kamieniołomów. W następnym wieku, będącym okresem największego rozkwitu Kazimierza Dolnego, spichlerz został przebudowany.
Spośród dużej liczby spichlerzy skupionych w ówczesnym porcie, do dnia dzisiejszego przetrwało zaledwie pięć budynków. Oprócz spichlerza Pod Wianuszkami, są to jeszcze spichlerze Pielaka, Bliźniak , Król Kazimierz i ruina spichlerza Nowakowskiego.
Kolejna przebudowa spichlerza, w trakcie której przybrał istniejącą do dziś formę, miała miejsce na początku XX wieku, kiedy to został on dostosowany na potrzeby garbarnii. Wtedy to ściany zewnętrzne zostały ozdobione kwiatowo-owocowymi girlandami, od których budynek przybrał swoją obecną nazwę. Podczas przebudowy powiększono również okna oraz zmieniono dach na czterospadowy.Garbarnia będącą własnością Maurycego i Chaima Feuersteinów działała do 1929 roku. Z tego okresu pochodzi wyeksponowany na fasadzie relief z napisem “1906/FABRYKA GARBARSKA/B-cia MAURYCY i CH. FEUERSTEIN”.
Przez kolejne lata budynek był opuszczony. Po wojnie poważnie uszkodzony spichlerz przejęła gminna spółdzielnia “Samopomoc Chłopska”. W 1967 roku spichlerz został wpisany do ewidencji zabytków, dzięki czemu prawdopodobnie udało się go uratować. Po przejęciu budynku w latach 70-tych XX wieku przez Muzeum Nadwiślańskie w Kazimierzu Dolnym istniały jedynie pozbawione dachu i stolarki okiennej zrujnowane ściany. Budynek został odbudowany w latach 1978-1986 z przeznaczeniem na młodzieżowe schronisko turystyczne, które działa w dawnym spichlerzu do dnia dzisiejszego.