1 傳統(tǒng)RNN模型

1.1 RNN結(jié)構(gòu)分析

結(jié)構(gòu)解釋圖:

內(nèi)部結(jié)構(gòu)分析:

我們把目光集中在中間的方塊部分, 它的輸入有兩部分, 分別是h(t-1)以及x(t), 代表上一時(shí)間步的隱層輸出, 以及此時(shí)間步的輸入, 它們進(jìn)入RNN結(jié)構(gòu)體后, 會(huì)"融合"到一起, 這種融合我們根據(jù)結(jié)構(gòu)解釋可知, 是將二者進(jìn)行拼接, 形成新的張量[x(t), h(t-1)], 之后這個(gè)新的張量將通過(guò)一個(gè)全連接層(線性層), 該層使用tanh作為激活函數(shù), 最終得到該時(shí)間步的輸出h(t), 它將作為下一個(gè)時(shí)間步的輸入和x(t+1)一起進(jìn)入結(jié)構(gòu)體. 以此類推.
內(nèi)部結(jié)構(gòu)過(guò)程演示:

根據(jù)結(jié)構(gòu)分析得出內(nèi)部計(jì)算公式: