Fondato insieme alla Cattedrale nell’XI secolo, estese le sue dimensioni nel XVI secolo con la realizzazione dei bastioni a difesa della Marina. Comprende il Seminario dei Chierici, il Vescovato, la Porta Uzeda (1672), la Casa del Fercolo e il recente Museo dell’Arcivescovato da cui, attraverso un oblò sul pavimento, è possibile vedere scorrere il fiume Amenano. Un tempo comprendeva anche il trecentesco campanile di Simone del Pozzo, il più alto del suo tempo, che con i suoi quasi 100 metri crollò durante il sisma del 1693 sulle navate della Cattedrale uccidendo migliaia di fedeli.

L’edificio si articola in quattro corpi tutti a pianta rettangolare con unico ordine di alzato, cortina piana e luci seriali scandite ritmicamente. Il lungo prospetto sulla “Marina” è caratterizzato da aperture architravate che si stagliano sull’intonaco grigio con ricche mostre in pietra calcarea e sculture. La fabbrica è quasi addossata alle mura cinquecentesche di Carlo V, lievemente arretrata tanto da determinare un profondo e panoramico ballatoio. I corpi settentrionali gravitano su due cortili, uno dei quali (quello principale) ha il varco d’ingresso che si apre su via Vittorio Emanuele e consente l’accesso interno al palazzo costituito da un loggiato di cinque arcate a tutto sesto con ghiera e stipiti in calcare, ulteriormente scanditi da lesene anch’esse in calcare che si sovrappongono ai piedritti e sostengono la trabeazione sommitale. Dallo stesso cortile si possono ammirare le possenti absidi normanne della Cattedrale.