L'isola di Sant'Andrea, sulla quale sorge l'omonimo forte, deve il suo nome al Chiostro di Sant'Andrea, edificato nel 1199 sulla vicina Certosa. La struttura difensiva, recentemente restaurata, risale al XVI secolo. All'epoca della Serenissima costituiva un prolungamento strategico dell'ormai scomparso Forte di San Nicolò del Lido, al quale era collegato da lunghe catene che, una volta tese, impedivano l'ingresso ai nemici.
L'intera struttura, ad eccezione dell'antico mastio centrale, è opera dell'architetto Michele Sanmicheli. Nonostante l'uso militare, la sua raffinatezza estetica anticipava ai viaggiatori che arrivavano via mare il fasto e la potenza di Venezia. Un'interessante descrizione del Forte proviene dagli scritti di Giacomo Casanova, che venne qui rinchiuso nel 1743.