L’aspetto attuale si deve all’iniziativa di Baccio Valori il Giovane, bibliotecario della Laurenziana, di unificare con un’unica facciata, opera di Giovan Battista Caccini ,i tre edifici preesistenti (1600-1604). È decorata da 15 erme con i ritratti di importanti intellettuali, letterati e filosofi fiorentini tra cui quello di Marsilio Ficino, cui si deve la traduzione dal greco di Platone. Il palazzo fu presto soprannominato dei “visacci”, appellativo dispregiativo dovuto sia alla fattura non eccelsa delle statue sia al carattere della decorazione, troppo colta per essere capita dal popolo.