La costruzione iniziata nel 1501 per volontà del papa Alessandro VI Borgia e del figlio Cesare è posta all'interno di un programma di rafforzamento delle fortificazioni costiere, con lo scopo principale di difendere Nettuno, considerata il "granaio del Lazio", dagli attacchi dei pirati saraceni, ma soprattutto di essere il simbolo della supremazia e potenza della famiglia Borgia.
Costruito dall'architetto fiorentino Antonio da Sangallo il Vecchio, anche se alcuni storici ipotizzano che l’ideatore sia stato il fratello Giuliano da Sangallo. Era considerato il fulcro del sistema difensivo della zona, in quanto a diretto contatto visivo con la rocca di Anzio, Tor San Lorenzo e Torre Astura. Dopo la caduta dei Borgia, iniziata con la morte di Papa Alessandro VI avvenuta nel 1503, il Forte fu ceduto ai Colonna grazie all'intervento del Papa Giulio II. Rimarrà a questa famiglia fino al 1594, anno in cui Marcantonio Colonna III lo cedette insieme al feudo di Nettuno, Anzio e Astura alla Camera Apostolica per 400.000 scudi. Nel XIX secolo, passò alla famiglia Borghese. Nel 1920 fu acquistato dal barone Alberto Fassini-Camossi, che, sotto la direzione dell’architetto Carlo Busiri Vici, lo restaurò, riportandolo in piena efficienza.
Il 20 luglio 1925, ospitò Benito Mussolini e i rappresentanti dello stato Jugoslavo, per la stipula dei trattati diretti a regolare le condizioni degli Italiani in Dalmazia. Nel 1931 vi furono ospitate la regina Maria di Romania e sua figlia la principessa Ileana. Nel 1938 passò di proprietà della principessa Barberini e negli anni 60 fu acquistato dalla Casa Cinematografica Dear Film. Nel 1988 venne espropriato dal Comune di Nettuno con decreto del Ministero dei Beni Culturali, culminando con l'esproprio e l'acquisizione definitiva nel 1990. Oggi l'edificio, ospita convegni e mostre d'arte, il "Museo dello sbarco alleato" e l'Antiquarium, che espone materiale archeologico, storico ed artistico del territorio di Nettuno.