A püspöki palota a 14. század közepén épült, fallal és vizesárokkal megerősítve. Az idők folyamán többször átépítették. Az épület főhomlokzatát a 18. század közepéig az átépítéseket tervező püspökök címerei díszítik. A palota többször volt a magyar Szent Korona letéteményese. 1996 szeptemberében II János Pál pápa látogatást tett a palotában.
A kastély téli lakosztálya értékes barokk bútorokkal, míg a nyári lakosztály empire és biedermeier bútorokkal van berendezve. Az emeleti étkező mennyezetét freskó díszíti. Több terem falán gipszstukkó díszek, valamint a görög mitológiából és a Bibliából származó jelenetek láthatók. Az épület alatt két hatalmas boltíves pince húzódik.
Az első emeleten a szobrokkal díszített barokk lépcsőház az 1487-ben épült palota kápolnájába vezet. Nevét Nagylucsei Orbán püspökről, Mátyás magyar király kamarásáról kapta. A belső tér neogótikus stílusú, három csúcsíves ablakkal és a mennyezet csillagboltozatával.