呂家渡臺祖於1771年(清乾隆 36 年)自福建省漳州府詔安縣秀篆鎮渡海來臺，起初居住於潭子瓦磘（今中市潭子區福仁里），後遷至朴仔籬庄（今中市豐原區朴子里），約1790年(乾隆 55 年)定居於三角仔（今中市神岡區三角里）。

道光年間，呂世芳(呂家14世)因累積許多資產，多年後呂家家業興盛，而呂氏遂以富有聞名，成為地方領導士紳，其位於神岡之第二公厝即為今日臺中市定古蹟「神岡呂家頂瓦厝」。 

1866年(同治 5 年)，呂世芳長子呂炳南為孝順慈母，且因應逐漸增加的眷口而興建「篤慶堂」，為呂家第三座宅第，其規模極大，隨著新居的落成，家族逐漸從頂瓦厝遷移自，被譽為「樓臺花木，壯麗甲於東海」，且藏書多達數萬卷，清末文人吳子光曾受邀在此任教，呂炳南於1855年(咸豐五年)創立文英社，在1869年開創文英書院，並於1877年聘請吳子光任教，孕育許多台灣文人，如:丘逢甲、林文欽、以及呂家第十六世的舉人呂汝修等，對地方教育貢獻很多。

呂炳南之子呂汝玉、呂汝修兩兄弟於1878年(光緒 4 年)整修舊宅，由吳子光題名為「筱雲軒」，成為中部文人薈萃之地，1888年(光緒 14 年)呂汝修中舉，為呂家留下一塊文魁匾。 

在呂汝玉等人的努力下，呂家保存家業，兼具政、經實力，維持其地方領袖之地位，且由於呂家富有，又結交許多文人雅士，筱雲山莊當時紳士雲集，名聞遐邇。

(圖源：臺中市文化資產處)