Il Castello fu edificato come rocca difensiva da Galeazzo II Visconti tra il 1360 e il 1370. I lavori vennero proseguiti dai successori Gian Galeazzo e Filippo Maria, che trasformò la struttura nella propria residenza.
Ha una pianta quadrata, con il lato di 180 metri, e quattro torri angolari.
Un grande parco si estende sul lato nord. Il castello ha subito lavori di ammodernamento e ampliamento con il Moro, fino al 1499, sotto il dominio spagnolo a metà del '500, con i francesi nell'800, mentre nel 1880 l'architetto Luca Beltrami ne iniziò un consistente restauro.
Nel Castello hanno sede numerose istituzioni culturali.