Jest to ulica idąca przez Skwer 1. Dywizji Pancernej nierównomiernym i załamującym się biegiem. W miejscu, gdzie obecnie rozpościera się skwer, dawno temu była stara osada rybacka. W XVII w. ulicę zwano Rybitwią.
Nieregularnie usytuowana zabudowa znajdowała się po zachodniej stronie ulicy i składała się z niewielkich drewnianych domów, szop i magazynów. Drugą stronę ulicy stanowił brzeg wiślany, przy którym stały młyny wodne oraz łodzie i statki.
Około 1630 r. wzniesiono przy Rybakach drewniany kościół zniszczony podczas wojen szwedzkich w 1656. Częste wylewy Wisły i pożary niszczyły zabudowę osady. Dopiero w końcu XVIII w. ulica została poważnie rozbudowana. Oprócz kilkudziesięciu drewnianych domów pojawiły się murowane, murowany spichlerz, cegielnia, budynek kąpieli wodnych i rzeźnia. Zabudowa skupiała się w pobliżu Mostowej, dalej była luźna i rozmieszczona wśród ogrodów. W drugie połowie XVIII w. zaczęto zabudowywać wschodnią stronę ulicy.
Około 1820 r. na wysokości Starej Prochowni utworzono obszerny zajazd z dwiema charakterystycznymi niszami w kształcie konch. Pod koniec XIX w. wybudowano przy Rybakach kilka trzypiętrowych kamienic o skromnych elewacjach. Natomiast na początku XX w. postawiono neorenesansową kamienicę w pobliżu ulicy Sanguszki oraz czerwony budynek fabryczny – wytwórnię ekstraktów garbarskich „Quebracho” niedaleko Mostowej. Piętnaście lat później obok kamienicy wzniesiono budynek szkoły nawiązujący do architektury dworkowej.
W sierpniu 1944 r. całe Rybaki zostały zniszczone. Po wojnie założono tu tereny zielone.