「Nut」にはどんぐり等の「ナッツ、木の実」という意味の他に「頭がおかしくなった人」という意味もあります。
Nutter 木の実を拾う気が狂った人
You are a nut お前は頭おかしい
You made me nut お前がいると頭がおかしくなる
の様な言い方があります。
頭がおかしくなり、家族にも見捨てられ、家を失くし森の中で住んでいる、そういうイメージや、
木の実の殻を人間の頭に見立てて「頭の中が空っぽの人」という意味にも理解出来ます。
ここでの「Nut case」は、正に後半の「木の実の殻」の方の意味でしょう。