Замок, заснований наприкінці XVI століття Янушем Тишкевичем. 1630 року власник подарував його Ордену Босих Кармелітів (ті мали заборону на право носити шкіряне взуття, звідси «босі»). Замок перетворився на оборонну споруду, із військовим гарнізоном і кількома гарматами. У червні-липні 1648 р. вояки Максима Кривоноса захопили місто, зруйнувавши замок і монастир. За Андрусівським перемир’ям 1667 року Бердичів відійшов до складу Польщі. Права на замок заявили нащадки Тишкевича і кармеліти. Останні здобули перемогу 1717 року. Вони й відбудували у стилі бароко замок і величний храм, який був найбільшим орденським храмом на теренах України. За комуністів, 1925 року, у відібраному в Церкви монастирі влаштували історичний музей. Рівень збереження будівель за їхнього «музейного» буття можна зрозуміти з того, що вже 1928 року колишній монастир був проголошений Державним історико-культурним заповідником, аби запобігти повному знищенню цієї пам’ятки архітектури. Втім, монастирський храм тоді ще залишали віруючим. Відібрали його 1930 року, приєднавши до заповідника. Там було архівне управління, студентський гуртожиток, а в нижньому храмі — кінозал. Під час ІІ Світової війни фортеця й монастир були майже повністю зруйновані. Храм був знищений на 40%, усі музейні експонати розграбовані, реставрувати там уже не було чого. Питання про відновлення храму почали порушувати з 1958 року. 1970 року почалися клопотання про відновлення історико-архітектурного пам’ятника за поданням Укрреставрації. Однак справи повернули на добре тільки 1991 року, коли монастир і храм було повернено католицькій спільноті Бердичева. Кармеліти відновили поруйновані споруди. Тепер там діє санктуарій Матері Божої Бержичівської, який 27 жовтня 2011 року проголосили Всеукраїнським санктуарієм. Чудотворна ікона Матері Божої Бердичівської загинула в роки ІІ Світової, однак у Польщі намалювали її копію, яка була урочисто освячена, інтронізована, а потім коронована.