在清朝末年間，
日治初期時，
居民謝永清的曾祖父在大灣底的海岸線上發現了一具水流屍，
後來通報村莊的地方紳土，
大家決議將他埋葬於大灣底的海邊，
過了幾天，
那水流屍的靈魂突然附身於謝永清的曾祖父身上，
衪表示他姓呂，
是一位秀才，
原本和另外三位秀才(謝姓、莊姓、陳姓)搭乘帆船要上京應試，
船隻行駛到台灣海峽時，
不料遇到暴風雨，
船隻不幸翻覆，
其他的人的屍體漂流無蹤。
而呂姓秀才希望能留在當地濟世，
便請求當地人為他蓋廟、雕金身。
於是謝姓族人便在其墳墓旁建造了一座袖珍型的矮厝仔來祭祀衪，
當地人俗稱此廟為「秀才厝仔」，
另外並雕了兩座金身，
一座供奉在「為靈廟」中，
另一座安放在謝姓族人民宅讓信徒祭拜。