古人相信，以無患樹幹製成的木棒，可以棒殺鬼怪，無患鬼魅魍魎，所以稱「無患」。佛教有諺『無患子念珠功德千倍，水晶念珠功德百萬倍，菩提子念珠功德無數倍』。在中國道教是用桃木來驅邪，而佛家把無患子枝條當成打鬼捧來用。

相傳福建漳州有一位老婦女，常年吃齋念佛，每天燒香跪拜菩薩，一年四季，從不間斷。有一年春天，漳州連降大雨，山洪暴發。當大水衝倒這位老婦女門口時，突然從天上掉下一粒無患子（又稱：菩提子），落地生根開花，大水便繞道而走。別人的家被大水沖了，老婦女的家平安無事。從此，家家都在自家門口前種一棵無患子樹，用來消災驅難，保佑平安。多年下來流傳一首兒歌： 無患子，種門前， 佛造光，家宅安，子孫後代無患難，菩薩保佑萬萬年。