Corria l’any 1645 quan un jove pastor, molt aficionat a enfilar-se pels estimballs i que cuidava el ramat al peu del monòlit de la Castellassa de Can Torres, va provar de pujar al cim, que era considerat inaccessible.

Un cop hi va haver arribat, orgullós de la seva proesa, va adonar-se que el descens era molt més complicat i que corria el risc de patir un greu accident. Després de molts intents, angoixat i desconfiant de les seves forces, va pregar a la Mare de Déu de les Arenes per tal que el salvés de l’imminent perill de mort i li va prometre que, si aconseguia baixar sa i estalvi, li regalaria una nova campana per a l’ermita.

Seguidament va aparèixer el diable, que prometé al noi unes cadenes, construir-li un pont o, fins i tot, omplir-ho tot d’herba, ja que així podria llançar-s’hi sense fer-se mal. El jove, però, no es va deixar vèncer per la temptació i va continuar pregant a la Mare de Déu. Cansat, el pastor es va adormir i, quan es va despertar, ja era al peu del monòlit. Agraït, va fer construir la campana promesa, el so de la qual encara se sent des de la Castellassa de Can Torres.

Segurament és per aquest motiu que a Castellar del Vallès coneixen aquesta roca com el Pastor.