Wczesnopiastowska drewniana fortyfikacja w XIII w. została przekształcona w murowany zamek. Z tego okresu pochodzi m.in. część muru obronnego i dwie wieże: Szlachecka (dawne więzienie dla szlachty) i Zegarowa, w XV wieku podwyższona na dzwonnicę katedralną, w której przyziemiu tkwią relikty romańskiej budowli kamiennej (palatium). Ok. połowy XVI w. benedyktyni pobudowali między zamkowymi wieżami gotycki kościół św. Wojciecha oraz klasztor. W końcu XVIII w. opactwo przebudowano na seminarium duchowne. Obiekt pełnił funkcje szkolne, mieszkalne oraz muzealne. Obecnie jest siedzibą Muzeum Diecezjalnego.
