XVII a. pr. pastatyti Mažieji Radvilų rūmai.
Manoma, kad rūmus projektavo šiaurės Italijos šveicarų ir italų architektas Konstantinas Tenkala (XVII a. I p.-1646). Šį architektūros paminklą imta tyrinėti 1981 metais. Nustatyta, kad po 1748 m. gaisro (remonto darbus atliko architektas Pjetro de Rosis) pastatas priklausė Radviloms, tačiau ankstesnieji jo savininkai nežinomi. Archeologinių tyrimų metu surasta koklių su Zaleckių, Tyzenhauzų, Radvilų, dekoratyvinė lėkštė su Naruševičių herbais. Po rūmais išlikę keturių gotikinių pastatų rūsiai, jų aptikta ir kieme prie buvusių vartų. Rūmų kapitelinėse sienose rasta gotikos laikotarpio mūro likučių, langų, durų angokraščių, skliautų, grindų, krosnių, židinių bei tvorų ir vartų mūro liekanų, grindinių.