Fu per lungo tempo rifugio portuale della pirateria Volsca. Nel 1.100 d.C. furono i Frangipane i primi feudatari del possedimento. La ereditarono dall'Abate Leone del Monastero di S. Alessio di Grottaferrata, dopo il decadimento dell'Impero Romano d'Occidente. Essi fecero erigere una Torre pentagonale d'avvistamento, alta 20 mt., a protezione dell'estesa proprietà su disegni di Mastro Mariano Di Giacomo, detto il Taccola. La Torre fu collegata alla terra ferma da un lungo pontile acquedotto e l'opera fu riconosciuta come un esemplare di fortificazione militare. Posteriormente fu dotata di un baluardo a mare e successivamente di abitazione, dormitori per le guardie, magazzini e Cappella, sfruttando le fondazioni delle peschiere della villa di Cicerone su base quadrata. Da queste strutture venne denominata Castello d'Astura.
Proteso nel mare e sorvolato spesso in giorni foschi dai corvi (per la vicinanza della Selva di Mattone) assume un aspetto sinistro. Ricorda Corradino di Svevia che era stato sconfitto alla Scurgola, quando vi si rifugiò con alcuni accoliti, per riparare a Pisa. Poco dopo aver salpato, fu raggiunto in navigazione dal Frangipane che lo ricondusse ad Astura, consegnandolo poi a Carlo D'Angiò che lo decapitò sulla piazza del Mercato a Napoli.