La storia del palazzo è alquanto travagliata. Anche il nome è di origine incerta: c'è chi ritiene che in epoca romana vi si svolgessero le assemblee elettorali (da cui "mons citatorius"); per altri il nome del luogo deriva dal fatto che vi venivano scaricati i materiali di risulta della bonifica del vicino Campo Marzio ("mons acceptorius"). L'attuale palazzo, che prese il posto di un preesistente gruppo di casupole, fu commissionato da papa Innocenzo X al Bernini come futura dimora della famiglia Ludovisi.
Morto il papa nel 1655, i lavori furono interrotti per mancanza di fondi e non furono ripresi se non oltre trent'anni dopo per volontà di un altro pontefice dallo stesso nome (Innocenzo XII), che dapprima intendeva destinare il palazzo a ospizio per i poveri e poi decise di installarvi la Curia apostolica (i tribunali pontifici).