El castillo de fatetar de Espera fue construido en el año 914 por Aberraman III que venia desde Cádiz, paso cerca de esperilla y vio una zona muy buena para construir una fortaleza pequeña para una guarnición militar, el castillo tiene elementos ibéricos, romanos y visigodos(en la parte superior hay un dintel con tres estrellas de época visigoda). El castillo se constituía de tres murallas, la primera que se ve fue decayendo hasta principios del siglo XX y otra que esta en el belén que hay alrededor del castillo, la ultima esta dentro de la fortaleza(que es la torre del homenaje). Cuando los enemigos atacaban, los soldados se colocaban en una zona defensiva que se llamaba matacán o ladronera en los que si el enemigo pasara, los soldados les echaban agua hirviendo, flechas, piedras para impedir que entraran.
Dentro del castillo tenemos el aljibe, que es un pozo donde se almacenaba el agua. Dentro esta la torre del homenaje donde en caso de que los enemigos traspasaran las muralla, ellos tenían esa torre para refugiarse subiéndola por unas escaleras, el ultimo que subiera a la torre quitaba las escaleras, en la torre también había un aljibe porque sino se morirían de sed o tendrían que salir a por agua.
Para construir las habitaciones tenían que modificar la tierra para aprovechar la buena zona de la montaña.
Dentro de la ermita hay tres retablos importantes, uno es la virgen de la paz, que es el de la patrona de espera, enfrente esta el retablo de San Prudencio, lo llaman así porque custodia los restos de San Prudencio que vienen del cementerio de San Calisto de Roma, había un marques que era el de Bondad Real que era hijo de espera y vivía en Roma y en agradecimiento a su pueblo mando los restos de San Prudencio desde el cementerio de San Calisto, la Virgen del Pilar corona este retablo. El retablo principal es el retablo mayor que es el del Santo Cristo de la Antigua, es un retablo barroco, la imagen del cristo es de Jorge Fernández Alemán. La gente cuando tenia algún mal, se enfermaban o tenían algún accidente le encomendaban al Santo Cristo y cuando salían del trance, le llevaban una pintura y un exvoto en forma de pintura diciéndole lo que les había pasado y dándole las gracias, se conserva en la ermita del castillo.