Il complesso ha origine nel palazzo di proprietà di Gio Battista Grimaldi, Doge della Repubblica dal 1752 al 1754.  La Marchesa Clelia Durazzo, nota botanica di fama internazionale, fece realizzare l’ampio giardino impreziosendolo con numerose piante rare di remota provenienza conservate nell’attuale Orto Botanico. I lavori più consistenti si devono al Marchese Ignazio Alessandro Pallavicini, nipote della Durazzo, e furono realizzati da Michele Canzio tra il 1836 e il 1846: nell'ottica del Marchese la villa e il parco sarebbero diventati un vero e proprio richiamo per il turismo culturale.  Vi ha sede oggi il Museo di archeologia ligure.