Il Palazzo viene costruito dagli architetti Pietro Pestagalli e Giuseppe Vandoni nel 1841-1853 per volontà dalla Veneranda Istituzione al fine di riunire laboratori, uffici e magazzini sparsi intorno all'abside della Cattedrale. La maestosa facciata tardo-Neoclassica presenta gigantesche colonne corinzie che donano solennità all'edificio. Il fastigio con l'orologio venne aggiunto nel 1865. Nel Palazzo è inglobata la chiesa di Santa Maria Assunta in Camposanto risalente al 1696.