スパース推定に関する歴史的文献

lasso以外にも，1996年前後に多くの研究者がL1罰則やそれを用いたスパース推定について論じています．その中には，後の大きな流れに繋がったものもあります．

石川眞澄は独自に「忘却」という手法を提唱しましたが，これは本質的にlassoと同じアイディアです．

Masumi Ishikawa (1996), "Structural learning with forgetting Neural Networks", Volume 9, Issue 3, 509–521 アブストラクト

Willamsは同時期にベイズ的な解釈のもとで，同様の考えを示しています．

Peter M. Williams (1995) " Bayesian regularization and pruning using a Laplace prior, Neural computation, 7(1), 117-143.

OlshausenとFieldは，独立成分分析にも関連した文脈で，各種の罰則項のもとで，視覚野のニューラルネットワークのモデルがスパース性を示し，実際の脳の一次視覚野に類似することを示しました．この中にはlassoと同じタイプの罰則項も含まれています．

Bruno A. Olshausen and David J. Field (1996) "Emergence of simple-cell receptive field properties by learning a sparse code for natural images", Nature 381.6583 607-609.

DonohoはWavelet基底（一般にovercompleteな基底）についてスパース推定の考え方が有用なことを示しました．これはComprssed Sensingの流れに直接繋がるものです．

トップページでリンクした田中利幸氏の解説には，さらに古い研究についての言及があります．

圧縮センシングの数理 （田中利幸） PDF