Appartenuto alla nobile famiglia Ruini, si vuole che l’edificio sia stato realizzato su disegno di Antonio Palladio (1582) il quale lo fornì di una bella facciata in cotto a tre ordini di finestre. Passato alla famiglia dei Ranuzzi nel 1679, fu ampliato e dotato di uno scenografico scalone a doppia rampa di forma ellittica, opera di Giovanni Battista Piacentini. Di Ferdinando Bibiena è invece il progetto della grande Sala delle Feste (1720). Alcune stanze del piano nobile sono decorate con affreschi settecenteschi e ottocenteschi. L’ultimo proprietario del palazzo fu Felix Baciocchi, consorte di Elisa Bonaparte, sorella di Napoleone.