Le château de FRASNE-le-CHATEAU se situe à l'Est du village, sur la base d'un château médiéval, entouré d'un fossé alimenté par le ruisseau la JOUANNE, coulant non loin à l'Est.

Les terres et le château ont appartenus, dès le Xlème siècle, à la famille d'Oiselay.

Au XVème siècle ont été réalisés d'importants travaux, témoignés encore aujourd'hui par la tour Ouest, l'ouverture de l'entrée et une pièce avec des plafonds voutés au sous-sol. Il est probable qu’Antoine d'Oiselay fût celui qui, à la fin du XVlème siècle, a transformé de nouveau le château, et fait construire la façade Nord.

En 1582 Antoine d’Oiselay épousa la nièce du cardinal de Granvelle, et son fils François de Granvelle en hérita, à la condition de le faire plus illustre, le titre d’ambassadeur de l'Empereur à PRAGUE.
Voici pourquoi on peut justifier de la présence dans le château des icônes rappelant la prestigieuse famille Granvelle. 

Des Granvelle-Oiselay, FRASNE passera ensuite à La Baune-Saint Amour, sera ensuite achetée en 1708 par Jean-Claude et Jean-Baptiste Rochet, puis transmis par un mariage à Fraguter de Batilly. 

Huit ans plus tard, François Gabriel Henrton fait l'acquisition des terres et du château.