Grajske ruševine imajo danes ime tudi Lipniški grad, v preteklosti pa se je grad imenoval Waldenberg. Njegovi prvi izpričani lastniki so bili Ortenburžani, v 13. st. najmočnejša plemiška družina na Kranjskem in Koroškem. Poleg posestva v Lipniški dolini so imeli v lasti tudi Radovljico in Grad Kamen. Grad Waldenberg se prvič omenja leta 1228, po letu 1256 pripade Frideriku, enemu od dveh bratov, ki sta si razdelila posesti. Prvoten romanski grad so v pozni gotiki obdali z novim obrambnim obzidjem, z več stolpi, v grajskem kompleksu je bila tudi kapelica sv. Pankracija. Že v 14. st. so Ortenburžani imeli v svoji lasti 17 gradov in 6 trgov. Bili so dobri gospodarji, v Lipniški dolini so po njihovi zaslugi nastala pomembna središča železarstva. A že leta 1420 je po dedni pogodbi (iz leta 1377) celotna posest Ortenburžanov prešla v roke Celjskih grofov, že dobri dve desetletji kasneja pa v roke Habsburžanov.