LSTM-長短期記憶模型

因為RNN有一個缺點，就是越前面的資訊對於後面的決策影響越小，當所經過的時序越多，前面的資訊影響幾乎趨近於零。這時候就需要長短期記憶。LSTM導入了三個控制記憶的機制，分別是Input Gate、Output Gate與Forget Gate，這三個閘門的開與關變化也變成了變數之一，由機器透過資料自己學習要開還是關，由此決定哪些資訊是重點、哪些是雜訊。

LSTM原名為Long short-term memory長短期記憶，是一種特殊的RNN，主要為了解決長序列訓練過程的梯度消失與梯度爆炸問題。相較一般的RNN，LSTM可以再更長的序列訓練中做得更好。

LSTM有三個階段

1.忘記階段:對上一個節點傳進來的輸入進行選擇性忘記。

2.選擇記憶階段:將這個階段輸入有選擇性的記憶。將重要的記錄下來，不重要的少記一些。

3.輸出階段:決定哪些將會當成當前狀態的輸出。

LSTM不像普通的RNN只有一種記憶疊加的方式，對於要長期記憶需求的訓練來說可以表現得更好。