In Schaffen bezat de heer van Diest ook een burcht, zeker al in 1279, toen ze vermeld werd als een toren ("turrim" de Scaffene, BH 2772bis, f. 2; D 1, f. 3). In 1337 werd ze de "woninghe van Scaffene“ genoemd (Ibid., f. 8v°; D 2, f. 50v°)‚ maar in 1438 vinden we ze niet meer vermeld (BH 3244). In 1501 spreekt men van "den beempt geheeten de Borch van Scaffen" (BH 110, 13).
Het gaat over de plaats die nog altijd zo genoemd wordt, ten zuiden van de Pater Daemsstraat en ten oosten van de Vroentestraat. De oudste benaming doet denken dat het een kleine torenvormige burcht was. Blijkbaar was ze in de 15de eeuw al verdwenen.