Le prime notizie relative a Castel Sant'Elmo lo indicano, intorno al 1275, come una residenza fortificata angioina, denominata Belforte; fu successivamente Roberto d'Angiò nel 1329 a volere l'ampliamento del palatium e l'incarico fu affidato a Tino di Camaino, allora impegnato nella costruzione della vicina Certosa di San Martino.
L'attuale configurazione con l'impianto stellare a sei punte si deve invece alla ricostruzione cinquecentesca, voluta, tra il 1537 e il 1547, da Don Pedro de Toledo durante il viceregno spagnolo. Il progetto fu realizzato dall'architetto militare spagnolo Pedro Luis Escrivà.
[rif. musei.beniculturali.it]
Il portale d'ingresso, antica entrata ufficiale del castello che conduce alle rampe coperte e agli ambulacri, cui si accede dopo aver percorso il ponte levatoio che attraversava il fossato a un'altezza di 20 metri, è sormontato dal monumento a Carlo V, collocato insieme all'epigrafe nel 1538 per commemorare la visita dell'imperatore a Napoli nel 1535. Opera in marmo di Carrara dello scultore toscano Maso da Fiesole, raffigura i sudditi che si inginocchiano al cospetto del sovrano, simboleggiati rispettivamente dai due soldati di profilo e dallo stemma alato con aquila bicipite e corona.
Gli ambienti interni, che si sviluppano su sette livelli, costituiscono un intricato sistema di corridoi che metteva in comunicazione tra loro le postazioni difensive a ridosso delle pareti perimetrali, aperte all'esterno mediante cannoniere, spesso binate, e caditoie per il lancio di ordigni incendiari, tutte ancora visibili sulla cortina tufacea.
Tra il XVII e il XIX secolo alcuni locali furono utilizzati come carceri soprattutto per prigionieri politici: fra questi, nel 1604 il filosofo Tommaso Campanella, accusato di congiura ed eresia, tra il 1799 e il 1800 numerosi intellettuali e nobili come Eleonora Pimentel Fonseca, Domenico Cirillo, Mario Pagano, Gennaro Serra di Cassano, Ettore Carafa, Giuliano Colonna e Luigia Sanfelice che avevano guidato la Rivoluzione Napoletana, e nell'800 i patrioti Carlo Poerio e Luigi Settembrini.