Il Forte dl Sangallo è stato eretto sotto il pontificato di Alessandro VI Borgia fra il 1501 ed il 1503.
La possente costruzione, in pietra arenaria rivestita di una cortina di laterizi, fu realizzata da Antonio da Sangallo, superbo costruttore di opere militari oltre che di notevoli architetture religiose e civili. Il disegno venne eseguito dal fratello Giuliano, figura molto importante a suo tempo per l'intensa attività creativa, che lasciò una preziosa documentazione dei suoi disegni, tra i quali figura anche quello del forte di Nettuno, nei taccuini conservati presso il comune di Siena.

L'intera struttura poggia su strati di macco, che trovandosi a contatto con l'acqua, le assicura una consistente stabilità.
L'architetto , per edificare la fortezza, scelse un'altura a strapiombo sul mare, la isolò da terra scavandovi tutt'intorno un fossato, poi la squadrò e, formatane una piramide tronca a base quadrata di quaranta metri per lato, vi costruì attorno una muraglia di cortina a quattro baluardi. Otto difensori, collocati in punti strategici, erano sufficienti per attaccare il nemico con fuochi incrociati.Al centro del quadrilatero, prospiciente il mare, torreggiava il mastio con scale segrete per le casematte e per la porta di soccorso. Sulle pareti vi erano gli stemmi di papa Alessandro VI, tutti scalpellinati da Pompeo Colonna, suo acerrimo nemico. di essi è rimasto l'emblema pontificio ed in qualcuno è appena visibile l'insegna gentilizia dei Borgia: lo scudo a sette punte, bipartito nel mezzo ed il toro.
I numerosi interventi nell'arco dei secoli, hanno alterato la lettura dell'impianto originale, per cui i lavori di consolidamento e restauro eseguiti nel 1989 è stato quello di restituire all'edificio l'antica dignità, quale prototipo dell'architettura militare della fine del 500.
Fra gli ospiti famosi va ricordato Garibaldi che la visitò nel 1876. Nel luglio 1925 vi furono firmati gli accordi fra Italia e Jugoslavia per regolare le condizioni degli Italiani in Dalmazia. L'Italia era rappresentata da Benito Mussolini.