Deep Learning(深層学習)

★Active Functions

SigmoidとTanhのデメリット

gradient vanishing

非zero-centered(Tanh除外)

計算重い

ReLUのデメリット(優先的にReLU利用)

非zero-centered

Dead ReLU Problem

★ニューラルネットワークの欠点

・過学習を起こしやすい

・調整するパラメータ数が多い

・勾配消失問題が起こる

エポック:訓練データを何度学習に用いた

イテレーション:重みを何度更新した

★ニューラルネットワークの特徴

・特徴量は数値

・欠損値を扱えない

・非線形性や変数間の相互作用が反映される

・基本的に特徴量を標準化などでスケーリングが必要

・比較的にハイパーパラメータの調整が難しい

・多クラス分類に比較的強い

・GPUでの高速化

★Optimizers

Adam = RMSprop + bias-correction + Momentum

optimization on saddle point

optimization on loss surface contours