RNN-遞迴神經網路

循環神經網路是為了序列數據進行建立模型而產生。文本是字彙與字母的序列，語音是音節的序列，影片是圖片，凡舉地震預測、氣象預測及股票交易都是序列數據。

RNN的核心理念是利用序列的信息。傳統的神經網路常常假設輸入與輸出是獨立於彼此的，在某些應用上是不能使用的。RNN之中的recurrent就是反覆使用的意思，網路對於序列數據的每個元素進行同樣的操作，網路的輸出取決於之前的計算。

在給定之前詞的情況下我們希望產生出下一個詞是什麼。模型的作用就是讓我們可以衡量一個句子的可能性，這對於機器翻譯是很重要的。而模型的另一個用處是預測下一個詞是什麼，我們可以從輸出的機率詞彙中採樣得到。對於語言模型，輸入是一序列的詞，輸出則是一序列的預測的詞。