Nel XII-XIII secolo ha origine questo luogo eremitico (eremo vuol dire luogo deserto, solitario, in disparte) di preghiera e di culto, nell'onda del movimento eremitico agostiniano nel tempo.

Alcuni eremiti si ritirarono in questo luogo, probabilmente attratti sia dalle grotte naturali che dalla copiosa sorgente di acqua presenti in questa parete rocciasa, per vivere una vita evangelica di dedizione alla preghiera, al silenzio, alla ricerca spirituale, all'ascolto di Dio, del creato e di coloro che li visitavano per parlare e pregare insieme.

Nel 1361 è attestata l'esistenza dell'Eremo di Calomini con annessa "cella eremitica" ed una capella dedicata a Sancta Maria ad Martyres. Questo raro titolo mariano ha origine nella Basilica romana del Pantheon dove furono portate nel VII secolo le ossa dei martiri delle catacombe, e si ritrova all'Eremo di Rupecava a Riprafatta tra Pisa e Lucca, al quale, forse, l'Eremo di Calomini era collegato.

Dai primi decenni del secolo XV a tutto il secolo XVI si assiste ad una graduale decadenza, per cui il luogo vivne affidato in commenda a rettori che non vi abitavano.

Dall'inizio del 1600 fino alla fine del 1700 avviene una grande crescita e sviluppo del Santuario sia riguardo all'edificio, ampliato e realizzato come lo vediamo oggi, sia riguardo alla vitalità del luogo, meta di numerosi pelligrinaggi.

Nel 1800, in seguito a varie difficoltà, finisce la presenza degli eremiti, per cui il Santuario viene affidato ai parroci del luogo. 

Dal 1914  al 2010 viene affidato ai frati Cappuccini. Dal 2011 è affidato ad un'altra comunità religiosa.

Dal 1 Giugno 2023 è Fratel Benedetto monaco eremita cistercense a prendersene cura.