De omgeving rond wat nu het dorpje Druyes is, is al van oudsher bewoond geweest. De Romeinse heirweg van Clamecy richting Thury liep langs deze plaats. Er was hier in de 3de eeuw na Christus al een nederzetting, waarschijnlijk zelfs al eerder. Er is sprake van een kleine tempel en een verblijfplaats voor druïden; heeft het dorp hieraan misschien zijn naam te danken? De oudste overgeleverde schriftelijke vermelding van Druyes dateert van 596. Deze laag gelegen plaats was echter moeilijk verdedigbaar, wat in de 9de eeuw (met invallen van de Normandiërs) zorgden dat deze plaats grotendeels verlaten werd. De monikken uit de in 543 opgerichte abdij en een deel van de bevolking vestigden zich enkele kilometers verderop op een heuveltop (Andryes, wat etymologisch "autre Druyes" betekent), een ander deel vestigde zich op de heuvel ten noorden van Druyes.
Het is op deze laatste heuvel dat al snel een houten omwalling rond de huizen opgetrokken werd. Deze plaats werd in de daarop volgende eeuwen een belangrijk gebied, op de grens tussen het graafschap van Auxerre in het noorden en Nevers in het zuiden. De omwallingen werden versterkt en op de zuidflank van het plateau werd in de 12de eeuw een versterkt kasteel gebouwd. In de late middeleeuwen werd naast dit oude kasteel nog een nieuw kasteel bijgebouwd en werden, zoals in die tijd gebruikelijk was, siertuinen aangelegd.
Vandaag blijft hiervan nog redelijk wat over: het nieuwe kasteel en de tuinen zijn helemaal verdwenen, nadat ze na de Franse revolutie verkocht werden, maar het oude vierkante kasteel en de dorpsomwallingen staan nog overeind. Veel hiervan is te danken aan de vereniging die zich inzet voor het onderhoud en de restauratie van het kasteel. In 1958 zijn ze begonnen aan de restauratie, zodat we vandaag een kasteel zien wat weer wat lijkt op het kasteel dat het vele honderden jaren geleden was.
Het "hoge Druyes" bestaat uit een driehoek met een zijde van ongeveer 300 meter. Zowel de toegangspoort (in de noordelijke punt van de driehoek) als grote delen van de stenen omwalling zijn bewaard gebleven. Binnenin staan tegenwoordig een dertigtal woningen, die bijna allemaal bewoond zijn. Aan de zuidelijke zijde van de driehoek staat het oude vierkante kasteel, waarvan de zijden ongeveer 52 meter lang zijn. Vier ronde torens fungeerden als beschermpunten voor de flanken, terwijl een hoge vierkante toren in de noordelijke flank van de kasteelmuur de toegangspoort tot het kasteel bewaakte. Hier waren ook de verblijven van de commandant. De verblijfplaatsen van de eigenlijke bewoners van het kasteel waren tegen de zuidelijke muur van het kasteel, maar hier zijn slechts de fundamenten van de gebouwen van overgebleven, evenals de Romeinse galerijen. Ook van de kapel zijn slechts de fundamenten overgebleven. Het dorp binnen de omwallingen is natuurlijk steeds te bezoeken. Het kasteel zelf kan enkel in de vakantiemaanden bezocht worden. Af en toe, en voor groepen op afspraak, zijn er geleide bezoeken.