L’attuale palazzo sorge sulla piazza dei SS. Apostoli dove un tempo si trovava la residenza dei Benzoni, famiglia originaria di Crema, a Roma sin dal Quattrocento. Come racconta il Baglione, nel 1622, “Il Maderno ristorò di dentro il Palagio e rifece il cortile de’ Signori Colonnesi; poi de’ Signori Ludovisi incontro alla basilica de’SS. Apostoli”. Il Palazzo infatti apparteneva in origine ai Colonna che lo vendettero nel 1622 ai Ludovisi per poi riacquistarlo sei anni dopo. Nel 1661 l’edificio venne ceduto in usufrutto al cardinale Flavio Chigi, che fece risistemare il palazzo dal Bernini.