Na kraju današnjega kompleksa je enoladijska romanska serkev Sv. Radegunde stala že v 11. st., v 14. st. pa so izpričana romanja na ta kraj. Že takrat so izgleda tam hranili svetinje svetnikov Primoža in Felicijana. Kasneje so jih pred uničevanji Turkov umaknili v utrjeno mesto Kamnik, v 17. st. pa so jih del vrnili. V stoletjih, ki so minevala, so tudi dograjevali cerkveni kompleks.