La construction du La Chèze a débuté au XIIIème siècle.
Mais c'est véritablement au XIVème siècle que qu'il commence à prendre sa forme actuelle. D'importants travaux de modernisation sont d'ailleurs entrepris au milieu de la Renaissance : ouverture de plusieurs fenêtres, création de la tour de l’escalier et remaniement de la tour du donjon.
En 1620, lors de guerres de religion, de nouvelles défenses et fortifications sont réalisées, à la demande de Noé Sautel, capitaine de la garde huguenote et nouveau propriétaire du Château de La Chèze.
En 1629, suite à la chute de Privas, Le Cheylard et tous les châteaux environnants (Don, La Tourette, Chalencon, La Chèze et Pierregourde) reviennent sous l'autorité du Roi. A cette occasion, les fortifications et les défenses sont détruites et le Château de La Chèze perd environ 1.5 m de hauteur au niveau du chemin de ronde.
A la fin du XVIIème siècle, le Château de La Chèze devint progressivement une demeure bourgeoise.
Les apiques autour du château sont remblayés pour former les terrasses que nous connaissons aujourd'hui. Il est procédé au percement des ouvertures de l'orangerie. Parallèlement, le développement des techniques de verrerie permet la confection de verres de plus en plus grands. Les fenêtres cintrées remplacent ainsi celles à croisées de meneaux.
Au XIXème siècle des ouvertures en grés sont réalisées. En 1903 le mur d'enceinte, qui formait une cour intérieure, et le pont-levis sont détruits. De grandes ouvertures sont créées à l'intérieur du château grâce à des linteaux IPN en fer.
Le Château de La Chèze a toujours été habité jusqu'au 5 juillet 1944, date de son incendie par les troupes nazies lors de la bataille du Cheylard. C'est ainsi que le château a perdu sa toiture, tous ses plafonds à la française, ses décors muraux ainsi qu'une très grande partie de son mobilier.
En 1946 le Château de La Chèze est racheté par la commune du Cheylard. Pendant près de 45 ans il reste à la merci de l'érosion et des pilleurs. Du fait de l'absence de toiture, le château a beaucoup souffert des intempéries. Une tour s'est effondrée partiellement en 1965 (elle a depuis été reconstruite) et une seconde en 1988 (reconstruite également).
L'escalier à pivot Renaissance a été volé dans les années 1970. Par ailleurs, les anciens propriétaires s'étaient réservés un droit de pierre, dont ils ont usé en 1966 afin de récupérer notamment l'encadrement de la porte d'entrée.
À partir de 1988 quelques habitants de LE CHEYLARD décident de restaurer le Château de La Chèze.