El castillo de Naraío está situado a orillas del río Castro sobre una gran roca que en algunas partes se integra en la construcción. Las excavaciones realizadas en 2008 descubrieron hasta tres muros perimetrales que en otro tiempo habrían convertido el castillo en un edificio inexpugnable y con capacidad para resistir asedios durante meses gracias al aljibe que aún se conserva en el interior de la torre. Sobre los orígenes del castillo todo son conjeturas históricas, al no haber aparecido documentos fidedignos sobre quién lo mandó construír y con qué finalidad.  Investigaciones recientes han confirmado que ya estaba en construcción en el siglo XII.

El ingeniero catalán Andrés Avelino Comerma i Batalla sugiere a principios del siglo pasado que el castillo pudo haber pertenecido a la familia de los Piñeiro hasta que les fue arrebatado en 1364 por el rey Pedro I en favor de Fernán Pérez de Andrade "O Boo", como recompensa por los servicios prestados.  La propiedad le sería confirmada de nuevo una década después por el rey Enrique II de Trastámara, en agradecimiento por haber recibido el apoyo de "O Boo" -"El bueno"- en la lucha contra su medio hermano Pedro I, el mismo a quien diez años antes el Andrade guardaba lealtad. Se dice que Fernán Pérez -o Peres- fue partícipe del asesinato de este rey y, de hecho, algunas fuentes históricas le atribuyen el conocido dicho "ni quito ni pongo rey, pero ayudo a mi señor".  

La fortaleza fue, según se cree, cárcel para malhechores y morosos, además de uno de los escenarios de la primera Revuelta Irmandiña (1431) dirigida sin éxito por Roi Xordo contra Nuno Freire de Andrade "O Mao" . Entre 1466 y 1469 volvería a ser uno de los focos de la Guerra Irmandiña, esta vez contra Fernán Pérez de Andrade "O Mozo". Alonso de Lanzós -primo de este Andrade- fue quien encabezó la revuelta. Su ejército derrumbó el castillo que, tras su derrota, tuvo que ser reconstruído como castigo por los propios revolucionarios. La fortaleza y las propiedades pasaron entonces amanos de Diego de Andrade -hijo de Fernán- y, con el tiempo y las bodas de conveniencia, a la Casa de Alba, actual propietaria de la fortaleza, cedida al Concello de San Sadurniño por un período de 30 años.

Quedó abandonado a principios del siglo XVII y durante tiempo fue empleado como cantera de la que obtener fácilmente material de construcción. Hoy sólo se conservan la torre y parte de los muros superiores, además de dos arcos que soportaban portones y el rastrillo. Las excavaciones efectuadas durante la segunda fase de consolidación de la fortaleza descubrieron cerámica, monedas y otros materiales de interés que aguardan la creación de un proyecto expositivo asociado al castillo. 

A finales de 2019 se completó la 3ª fase de consolidación de la fortaleza, que consistió en acondicionar senderos, asegurar algunas partes y en mejorar la accesibilidad a todo el conjunto arquitectónico. Lo más destacado de la obra -acompañada de nuevas catas arqueológicas- fue la instalación de una estructura interior que permite subir al punto más alto de la torre y divisar parte del valle del Castro. A raíz de estos trabajos se confirmó que la fortaleza era entre dos y tres siglos más antigua de lo que se creía.

De la época de los primeros Andrade también nos queda el Puente de A Ferraría (cca. el S. XIV), en la parroquia de Naraío. El puente tiene un solo ojo de arco gótico y es de cantería, con una fábrica muy semejante a la del castillo. A finales de los años 60 de siglo pasado fue remodelada añadiéndole una plancha de hormigón que permitiese salvar las riadas del Castro durante el invierno.

En uno de sus extremos cuenta con una ruda escultura zoomorfa que aún hoy genera cierta controversia académica sobre si se trata de la figura de un oso o de un jabalí, animales ambos ligados a la simbología de la casa de Andrade. En Naraío siempre ha sido conocido como "o porco" -el cerdo- y se cuenta que en origen eran dos las figuras. El puente fue durante siglos el principal punto de vadeo del río Castro para quien seguía el antiguo "Camino Real", que hoy forma parte del Sendero del Río Castro y, a su vez, de la GR-55 que va desde Betanzos hasta San André de Teixido.