Il palazzo, nato come residenza cardinalizia di Pietro Barbo, titolare della Basilica di S. Marco, eletto pontefice con il nome di Paolo II (1464-71), divenne sede dell’ambasciata veneziana (1564-1797) e poi austriaca (1797-1916). Il museo, istituito nel 1921 da F. Hermanin, dovette condividere i suoi spazi con il governo fascista dal 1929 al 1943. Oggi la raccolta si snoda in un percorso di circa 30 sale che ospita collezioni di pittura, scultura lignea, porcellane, ceramiche, bronzi, marmi, terrecotte, armi, che lo rendono tra i più eclettici della città.