Budynek będący siedzibą księcia brzeskiego, powstał w XVII w. Na przestrzeni lat był wielokrotnie przebudowany, potem znajdowały się tutaj różne instytucje, m.in. Urząd Podatkowy. Pod koniec XX w. budynek został gruntownie wyremontowany. Jako ciekawostkę można podać fakt, że podczas wojen napoleońskich spotkali się tutaj car Aleksander I i król pruski Fryderyk Wilhelm III.