Deep Learning(深層学習)
★Active Functions
SigmoidとTanhのデメリット
gradient vanishing
非zero-centered(Tanh除外)
計算重い
ReLUのデメリット(優先的にReLU利用)
非zero-centered
Dead ReLU Problem
★ニューラルネットワークの欠点
・過学習を起こしやすい
・調整するパラメータ数が多い
・勾配消失問題が起こる
エポック:訓練データを何度学習に用いた
イテレーション:重みを何度更新した
★ニューラルネットワークの特徴
・特徴量は数値
・欠損値を扱えない
・非線形性や変数間の相互作用が反映される
・基本的に特徴量を標準化などでスケーリングが必要
・比較的にハイパーパラメータの調整が難しい
・多クラス分類に比較的強い
・GPUでの高速化
★Optimizers
Adam = RMSprop + bias-correction + Momentum
optimization on saddle point
optimization on loss surface contours