Leta 1000, ko so nad grajski portal vklesali letnico, na Kranjskem še ni stalo prav veliko gradov. Je bila tudi bolj razvita sosednja Koroška, od koder je prišel Viljem II, mejni grof Savinjske marke, graditelj gradu in mož bolj znane svete Heme, ki je bila tudi doma na bližnjem gradu Pilštajn. Kot drugi gradovi, je tudi Žužemberk prehajal iz rok v roke, med lastniki so bile tudi sloveče rodbine, kot so Celjski, Habsburžani in nazadnje Auerspergi (Turjaški).