L’edificio è ormai indissolubilmente legato al nome di Carlo Scarpa che negli anni ’60 venne chiamato dall’avvocato vicentino Ettore Gallo che, dopo aver acquistato palazzo Brusarosco, ne chiese al celebre architetto una ristrutturazione finalizzata a trasformarlo in studio e residenza privata. L’intervento è passato alla storia anche perché Scarpa venne denunciato dall’ordine degli architetti per esercizio abusivo della professione e venne difeso, vincendo la causa, dallo stesso Gallo.
Scarpa intervenne su un palazzo danneggiato dai bombardamenti della Seconda guerra mondiale: all’ultimo piano, l’antica soffitta è così diventata l’appartamento privato, concepito come rivisitazione delle residenza venete, con un grande salone illuminato dall’alto, dove lo stesso architetto ha curato anche l’allestimento della collezione di dipinti della famiglia Gallo. Tutt’intorno a quella che Scarpa definiva “piazza”, ci sono gli ambienti privati, mentre al piano inferiore gli ambienti dello studio d’avvocati. A Scarpa si deve anche la progettazione del parco.
Il palazzo ospita anche Centro di Cultura e Civiltà Contadina “La Vigna” e l’annessa biblioteca internazionale con oltre 50 mila volumi di studi agrari e cultura del mondo contadino.