目錄
背影
摘要
LSTM的基本定義
LSTM實現(xiàn)的步驟
BILSTM神經(jīng)網(wǎng)絡
基于雙向長短期神經(jīng)網(wǎng)絡BILSTM的發(fā)生概率預測，基于GRU神經(jīng)網(wǎng)絡的發(fā)生概率預
完整代碼：基于雙向長短期神經(jīng)網(wǎng)絡BILSTM的發(fā)生概率預測，基于GRU神經(jīng)網(wǎng)絡的發(fā)生概率預測資源-CSDN文庫 https://download.csdn.net/download/abc991835105/89114986
效果圖
結果分析
展望
參考論文

背影

基于雙向長短期神經(jīng)網(wǎng)絡BILSTM的發(fā)生概率預測，基于GRU神經(jīng)網(wǎng)絡的發(fā)生概率預，長短期神經(jīng)網(wǎng)絡是一種改進黨的RNN神經(jīng)網(wǎng)絡，克服了梯度爆炸的問

摘要

LSTM原理，基于雙向長短期神經(jīng)網(wǎng)絡BILSTM的發(fā)生概率預測，基于GRU神經(jīng)網(wǎng)絡的發(fā)生概率預

LSTM的基本定義

LSTM是一種含有LSTM區(qū)塊（blocks）或其他的一種類神經(jīng)網(wǎng)絡，文獻或其他資料中LSTM區(qū)塊可能被描述成智能網(wǎng)絡單元，因為它可以記憶不定時間長度的數(shù)值，區(qū)塊中有一個gate能夠決定input是否重要到能被記住及能不能被輸出output。
圖1底下是四個S函數(shù)單元，最左邊函數(shù)依情況可能成為區(qū)塊的input，右邊三個會經(jīng)過gate決定input是否能傳入?yún)^(qū)塊，左邊第二個為input gate，如果這里產(chǎn)出近似于零，將把這里的值擋住，不會進到下一層。左邊第三個是forget gate，當這產(chǎn)生值近似于零，將把區(qū)塊里記住的值忘掉。第四個也就是最右邊的input為output gate，他可以決定在區(qū)塊記憶中的input是否能輸出 。
圖1 LSTM模型
圖1 LSTM模型
LSTM有很多個版本，其中一個重要的版本是GRU（Gated Recurrent Unit），根據(jù)谷歌的測試表明，LSTM中最重要的是Forget gate，其次是Input gate，最次是Output gate

訓練方法

為了最小化訓練誤差，梯度下降法（Gradient descent）如：應用時序性倒傳遞算法，可用來依據(jù)錯誤修改每次的權重。梯度下降法在遞回神經(jīng)網(wǎng)絡（RNN）中主要的問題初次在1991年發(fā)現(xiàn)，就是誤差梯度隨著事件間的時間長度成指數(shù)般的消失。當設置了LSTM 區(qū)塊時，誤差也隨著倒回計算，從output影響回input階段的每一個gate，直到這個數(shù)值被過濾掉。因此正常的倒傳遞類神經(jīng)是一個有效訓練LSTM區(qū)塊記住長時間數(shù)值的方法。

lstm的