Князя Любарта надихнула збудувати замок його кохана дружина Агрипіна, дочка останнього князя з роду Данила Галицького. Не дочекавшись закінчення будівництва, жінка померла. А князь залишався невтішним і приходив на її могилу з квітами до кінця свого життя.

Замок трьох князів – ще одна назва твердині. Справа в тому, що Верхній Замок у Луцьку почали зводити за часів Любарта. Після його смерті, Вітовт наказав продовжити будівництво. А закінчилося зведення укріплень вже за часів Свидригайла.

На стінах замку – безліч написів його відвідувачів, що намагаються залишити тут згадку про себе. Найстаріший напис зроблений 1444 р. Також зберігся напис, який залишила сестра Лесі Українки Ольга Косач.