El castillo de Montornés, junto al de Miravet, ubicado en el término municipal de Cabanes, constituyó unos de los más importantes feudos árabes de estas tierras y está ubicado a una altura de 500 m en situación estratégica para la defensa de la zona. Esta construcción del siglo X perteneció a los árabes hasta el 1234, cuando (tras ser conquistado en el 1090 por El Cid Campeador y perdido de nuevo poco después) el Rey Jaime I lo reconquistara definitivamente. Este castillo, del que quedan su torre y algunos restos de la planta original, fue habitado hasta finales del siglo XVII y formó parte indispensable del nacimiento del término municipal de Benicàssim.

Ya con la presencia de los carmelitas, se crearon otras construcciones también emblemáticas para el paraje, entre las que se encuentran el antiguo monasterio, del que sólo quedan sus ruinas al ser destruido por unas fuertes lluvias, y el monasterio nuevo, donde residen actualmente los frailes carmelitas.

Los terrenos sobre los que se sitúa el Castillo fueron poblados desde la edad de Bronce, y posteriormente en la época de las ocupaciones romana y musulmana. A finales del siglo XI perteneció a Pedro I el Grande, pero con la presencia almorávide y la muerte del Cid en 1099 las posesiones de Pedro I se ven seriamente amenazadas, siendo conquistado por los almorávides en 1103 y pasando definitivamente a dominios cristianos en 1234. Es abandonado en el siglo XVII. Esta fortaleza forma un triángulo con la torre San Vicente y con la cazoleta de Salandó, que probablemente tuvieron la función de reforzar su defensa.

Según una leyenda el castillo fue conquistado por medio de engaños por el Cid Campeador, perteneciendo después al caballero Ximén Pérez de Arenós y al monasterio de Poblet.