Fu commissionato dalla famiglia Grassi, originaria di Chioggia, a Giorgio Massari che vi lavorò a partire dal 1748 costruendo l'ultimo grande palazzo prima della caduta della Repubblica (1797). Dopo numerosi passaggi, nel 1983 passò al gruppo Fiat, che ne affidò la ristrutturazione all'architetto milanese Gae Aulenti e lo rese uno dei centri espositivi più prestigiosi d'Europa. Nel 2005 venne, infine, acquistato da François Pinault che commissionò il restauro al celebre artista giapponese Tadao Ando. Attualmente è sede di esposizioni temporanee.