Edificato su progetto di Andrea Palladio tra 1549 e 1552 venne completato solo nel prospetto principale. La committenza giunse dal nobile Iseppo da Porto, che dovette entrare in competizione con i cognati Adriano e Marcantonio Thiene, di cui aveva sposato la sorella Livia nel 1545, i quali avevano richiesto il loro palazzo allo stesso architetto già nel 1542.
La facciata presenta un'alta zoccolatura bugnata, oltre la quale il piano nobile è scandito da una serie di semicolonne ioniche e da finestre chiuse da balustre, sormontate in alternanza da un timpano triangolare e da uno semicircolare. Sull'attico sono quattro statue attribuite a Lorenzo Rubini.
All'interno del palazzo, oltre a un atrio con volta a crociera impostata su quattro colonne, le sale conservano affreschi di Girolamo Mengozzi Colonna, di Giambattista Tiepolo (anche uno strappato raffigurante un membro della famiglia da Porto condotto in gloria), e soprattutto una replica della Gigantomachia di Giulio Romano per Palazzo Te a Mantova, qui dipinta da Domenico Brusasorci (1552).