Jedną z kamienic tworzących zabudowę ulicy Miodowej jest barokowa kamienica Karola Baya. Budynek, pochodzący z XVIII w., nazwę zawdzięcza swemu twórcy, ówczesnemu architektowi i budowniczemu Karolowi Bayowi.
Dwupiętrowa kamienica, z centralnie usytuowaną sienią przejazdową, powstała prawdopodobnie przed 1733 r. jako dom własny Baya. W 1770 r. budynek poddano przebudowie dla będącego jego właścicielem biskupa inflandzkiego Antoniego Ostrowskiego. Autorem projektu przebudowy był Szymon Zug albo Efraim Schröger. Połączono wówczas sąsiadujące ze sobą domy oznaczone numerami Miodowa 12 oraz Kapitulna 7 i 9. Powstały zespół określano nazwą Pałac Słomińskiego od nazwiska późniejszego jego właściciela.
Kamienica uległa zniszczeniu we wrześniu 1939 r. Odbudowana została na podstawie obrazu Zygmunta Vogla w latach 1948-1949.