Non è chiara la radice etimologica del nome Astura, ma è possibile che derivi da astor (astore) specie di falco che qui avrebbe nidificato. Prima dell'XI XII secolo la fortificazione dell'isola artificiale di Astura consisteva soltanto in una torre isolata unita alla terra ferma da un pontile di legno. La realizzazione di un vero e proprio fortilizio, dettato da motivi di carattere militare, risale all'epoca dei Frangipane XII-XIII sec.
La fortezza interamente fondata sui resti della peschiera, con una torre di forma quadrata, doveva avere un ingresso sopraelevato accessibile per mezzo di una scala di legno. La tecnica muraria è quella del XIII secolo a tufelli rettangolari con poca malta non sempre regolari. Le spesse pareti della torre, esposte al mare, fungevano da frangitutto e non temevano i colpi delle armi da getto e l'altezza della torre permetteva di respingere gli assalitori giunti a ridosso delle mura. Nella seconda metà del secolo XV la torre venne ricostruita e modificata per favorire l'istallazione della rampe in muratura; si aggiunsero due pareti nel lato nord che trasformarono la torre in un baluardo pentagonale che meglio rispondeva alle esigenze delle nuove tecniche difensive. L'aspetto attuale risale alla seconda metà del secolo XVI quando il castello era sotto la signoria dei Colonna. A partire dal XVIII secolo si ebbero una serie di modifiche specialmente nella suddivisione degli ambienti interni che miravano a trasformarla da roccaforte in luogo di abitazione.