Dal XII secolo la città di Nettuno divenne feudo dei Conti Tuscolani, degli Orsini e dei Colonna i quali, scomunicati da Alessandro VI videro il loro feudo assegnato a Roderigo Borgia (è del 1501 la costruzione della nota fortezza fatta erigere dal Valentino, Cesare Borgia. su disegno di Giuliano da Sangallo).

Il dominio di Nettuno passò allora ai Carafa, per tornare ai Colonna che intensificarono i lavori di fortificazione per esigenze di difesa contro i corsari Turchi.

Ma non appena scomparso Marcantonio Colonna, Nettuno fu comprato dalla Camera Apostolica.

Dal 1656, dopo la pestilenza, Nettuno vide affluire Ministri e Dignitari della Corte Pontificia, i quali per soggiornarvi fecero costruire splendide ville; così sorsero la villa del Cardinale Costaguti (1674) oggi villa Bell'Aspetto, iì Palazzo Doria Pamphili (fatto costruire nel 1615 dal Cardinale Cesi) prospiciente il mare in Piazza Colonna.

Dopo la rivoluzione francese, nel 1792, il governo pontificio rinforzò le milizie e le fortificazioni, rna nel 1813 troviamo Nettuno sotto il dominio francese. Infine, nel 1831, anno in cui fu ristabilito il governo pontificio, il Papa Gregorio XV dispose che la Camera Pontificia vendesse a Don Camillo Borghese la proprietà di Nettuno.