弥富市の名鉄尾西線五ノ三駅を過ぎ２本目を右に曲がると金樹寺の前の道になる、お寺を過ぎたところで左に曲がり２本目付近の路地左奥に服部家住宅ある。荷之上城跡です。