一、GRU

GRU (Gated Recurrent Unit)也稱門控循環(huán)單元結(jié)構(gòu),它也是傳統(tǒng)RNN的變體,同LSTM一樣能夠有效捕捉長(zhǎng)序列之間的語(yǔ)義關(guān)聯(lián)， 緩解梯度消失或爆炸現(xiàn)象，同時(shí)它的結(jié)構(gòu)和計(jì)算要比LSTM更簡(jiǎn)單,它的核心結(jié)構(gòu)可以分為兩個(gè)部分去解析:

更新門、重置門

GRU的內(nèi)部結(jié)構(gòu)圖和計(jì)算公式:

1.1 更新門&重置門

Bi-GRU與Bi-LSTM的邏輯相同,都是不改變其內(nèi)部結(jié)構(gòu),而是將模型應(yīng)用兩次且方向不同,再將兩次得到的LSTM結(jié)果進(jìn)行拼接作為最終輸出?

二、GRU優(yōu)缺點(diǎn)

• 優(yōu)點(diǎn)

GRU和LSTM作用相同,在捕捉長(zhǎng)序列語(yǔ)義關(guān)聯(lián)時(shí),能有效抑制梯度消失或爆炸,效果都優(yōu)于傳統(tǒng)RNN且計(jì)算復(fù)雜度相比LSTM要小。

• 缺點(diǎn)

GRU仍然不能完全解決梯度消失問(wèn)題,同時(shí)其作用RNN的變體,有著RNN結(jié)構(gòu)本身的一大弊端,即不可并行計(jì)算,這在數(shù)據(jù)量和模型體量逐步增大的未來(lái),是RNN發(fā)展的關(guān)鍵瓶頸。