Il palazzo, appartenente in origine al vescovo di Castro Angelo Giaconìa, alla sua morte, nel 1564, passò in eredità all'umanista Vittorio Prioli, che vi raccolse numerosissime statue antiche e un lapidario, di cui restano due rilievi classicheggianti ornati da ovoli con David che scrive e Il trionfo di David,attribuiti a Gabriele Riccardi, a cui si deve il disegno del cinquecentesco edificio. All'esterno, in uno spigolo della trabeazione, sono presenti i simboli delle corporazioni dei muratori: il compasso, il filo a piombo, la scure, la cazzuola e il martello.