In origine sede del Comune, il palazzo fu costruito tra il 1588 e il 1592, al posto di un più antico edificio noto come Seggio e profondamente degradato, come testimoniano le parole del duca Alfonso d'Aragona che nel 1471 lo descriveva come «molto affumato e tintu del continuo foco». Ciò che resta oggi, dopo l'abbattimento delle ali retrostanti durante lo scavo dell'anfiteatro, è la loggia quadrangolare con arcate ogivali. Molto caratteristici sono i pilastri angolari col motivo della 'colonna inglobata', ossia contenuta all'interno del pilastro e visibile dalle aperture ovoidali.