La costruzione fu iniziata nel 1579, poco dopo l'arrivo dei Gesuiti in città, allo scopo di ospitare un collegio per la formazione culturale e religiosa dei giovani. Realizzato dal gesuita Giuseppe Valeriano, esso accoglieva al piano terra le scuole e al primo piano la foresteria, la biblioteca e il teatro. Profondamente modificato durante i restauri ottocenteschi, che determinarono il severo assetto neo-classico della facciata oggi visibile, il palazzo era in origine munito di una trabeazione, di lesene con capitelli compositi e ionici e da timpani curvilinei e triangolari.