W latach 1643-45, podczas przebudowy gdańskich fortyfikacji, postanowiono wzmocnić uzbrojenie południowej części miasta i wzniesiono tam nową zbrojownię. Budynek został zaprojektowany przez Jerzego Strakowskiego tak, aby służył jako magazyn ciężkich dział i wszelkiej amunicji dla pobliskich fortów.
Wielka Zbrojownia już nie wystarczała. Miasto potrzebowało wzmocnienia siły obronnej w tamtych trudnych czasach. Pierwotnie budynek posiadał więcej ozdobnych detali architektonicznych. Dzisiaj trochę przypomina spichlerz. Wato zobaczyć jedyny zachowany detal - kamienny herb Gdańska z datą 1645 r. Obecnie w murach
Małej Zbrojowni mieszczą się rzeźbiarskie pracownie Akademii Sztuk Pięknych.