引言

????????從本系列博客開始，我們將來一起學習一下NLP領域的相關基礎知識，NLP領域重要的模型是RNN，在此之前，先來了解一些符號的含義。

1.符號定義

---

（1）符號定義

????????假設建立一個能夠自動識別句中人名位置的序列模型，它的輸入序列是這樣的：“Harry Potter and Herminoe Granger invented a new spell.”，(這些人名都是出自于J.K.Rowling筆下的系列小說Harry Potter)。輸出y，使得輸入的每個單詞都對應一個輸出值，同時這個能夠表明輸入的單詞是否是人名的一部分。

????????注：這是一個命名實體識別問題，常用于搜索引擎，比如說索引過去24小時內所有新聞報道提及的人名，用這種方式就能夠恰當?shù)剡M行索引。命名實體識別系統(tǒng)可以用來查找不同類型的文本中的人名、公司名、時間、地點、國家名和貨幣名等等。

????????符號定義如下：

????????注意：在這個例子中Tx=Ty，但是在其他案例中不一定相等。

（2）序列表示

????????序列表示主要是對每個單詞進行編碼，從而得到序列的編碼，我們采用one-hot編碼方式。

????????Step1：定義詞典；

????????Step2：索引每個單詞在詞典的位置；

????????Step3：編碼單詞，在編碼向量中，向量中下標等于單詞在詞典中的位置的元素定義為1，其他下標的元素定義為0；

????????Step4：循環(huán)Step2-Step3，得到序列中所有單詞的編碼向量。

????????舉個例子，如下為輸入序列，假設詞典有10000個單詞，如下所示：

????????而Harry在詞典中4075下標，因此該單詞編碼表示4075下標的位置為1，其他為0，得到編碼向量，也稱為獨熱向量。序列中其他位置的單詞依次得到的內容如上。

????????注意：如果遇到了一個不在詞表中的單詞，那么就是創(chuàng)建一個新的標記，也就是一個叫做Unknow Word的偽造單詞，用<UNK>作為標記，來表示不在詞表中的單詞，我們之后會討論更多有關這個的內容。

2.循環(huán)神經(jīng)網(wǎng)絡模型

---

（1）標準神經(jīng)網(wǎng)絡的缺點

????????可以用標準神經(jīng)網(wǎng)絡學習序列模型，但是效果并不好，原因如下：

????????一、輸入和輸出數(shù)據(jù)在不同例子中長度不一定相同，不是所有的例子都有著同樣輸入長度或輸出長度。即使每個句子都有最大長度，也許可以填充（padding）使每個輸入語句都達到最大長度，但并不是一個好的表達方式。

????????二、網(wǎng)絡結構并不共享從文本的不同位置上學到的特征。比如，神經(jīng)網(wǎng)絡已經(jīng)學習到了在位置1出現(xiàn)的Harry可能是人名的一部分，那么如果Harry出現(xiàn)在其他位置，我們也希望能夠自動識別其為人名的一部分的話。這就類似卷積網(wǎng)絡，垂直卷積可以在圖片中不同位置學習到相同的垂直特征，但普通的網(wǎng)絡就不行。

????????三、假設詞典是10000詞，則編碼向量是10,000維的one-hot向量，因此這會是十分龐大的輸入層。如果總的輸入大小是最大單詞數(shù)乘以10,000，那么第一層的權重矩陣就會有著巨量的參數(shù)。但循環(huán)神經(jīng)網(wǎng)絡就沒有上述問題。

（2）循環(huán)神經(jīng)網(wǎng)絡

????????上圖即為一個循環(huán)神經(jīng)網(wǎng)絡的結構圖，假設我們進行人名識別任務，即識別句子中的詞是否是人名的一部分。任務流程為在第一個時間步，我們把第一個詞x1輸入到第一層，第一層預測出y1；在第二個時間步，我們把第二個詞x2輸入到第二層，同時第二層接受來自時間步1的信息，即第一層輸出的激活值，結合這兩部分，第二層預測出y2；持續(xù)這種模式輸入，到最后一個時間步，輸入x<Tx>和上一個時間步的激活值，預測出y<Ty>。所以在每一個時間步中，循環(huán)神經(jīng)網(wǎng)絡傳遞一個激活值到下一個時間步中用于計算，這就是RNN的核心思想。至于第一層接受的激活值a0，通常需要在0時刻構造一個。

????????注意：觀察上圖兩個句子，在識別Teddy這個詞的時候，Teddy Roosevelt是泰迪羅斯福，而Teddy bears是泰迪熊，根據(jù)RNN的結構，Teddy的識別過程只能接受來自前一個時間步的激活值，也就是網(wǎng)絡只能學習到Teddy及以前的句子信息，而以后的句子內容無法學習，也就難以識別Teddy究竟是不是人名的一部分。要解決這個問題，我們需要用到雙向循環(huán)神經(jīng)網(wǎng)絡BRNN，這里先不闡述。

????????上圖所示即為RNN的前向傳播流程圖，在第一層中，接受a0激活值和第一個詞向量x1，公式如下：

????????其中g1()=tanh()，g2()=softmax()，權重矩陣有下標aa、ax和ya，第一位表示計算數(shù)據(jù)類型，比如a表示計算數(shù)據(jù)類型為a類型，即激活值，y表示計算數(shù)據(jù)類型為y類型，即輸出值。第二位表示參與運算的數(shù)據(jù)類型，比如aa表示計算激活值a時權重矩陣需要和上一時間步的激活值a進行運算，ax表示計算激活值a時權重矩陣需要和詞向量x進行運算。

????????更一般的有：

????????為了更加簡潔的描述問題和公式，我們做如下公式記號：

????????上面兩個式子中，下式[]和權重矩陣部分的乘積表示為上式。

????????把兩個權重矩陣合并為一個表示，如上式所示。

????????上面這兩個式子，將上式用下式代替。有了上述符號簡化，我們可以改寫前向傳播的公式：

????????同理，下式也可以改寫：

3.通過時間的反向傳播

---

????????當前向傳播的流程結束后，需要計算損失，然后進行反向傳播，由于RNN的反向傳播和時間步有關（每一層均是一個時間步的計算流程），因此反向傳播更像通過時光機穿越到過去進行計算，于是RNN的反向傳播又叫通過時間反向傳播。下面讓我來看看具體的流程：

????????首先定義模型的損失函數(shù)，模型的損失函數(shù)為交叉熵損失函數(shù)：

????????需要把每一時間步的損失都計算出來，最后加在一起得到總損失L。而反向傳播的流程如下：

????????紅色箭頭所示的方向即為反向傳播的方向，通過下圖導數(shù)的相關參數(shù)，按照反向傳播的方向傳遞參數(shù)信息，即可進行梯度的計算。

????????如圖上所示，列了一些梯度計算的有關公式，這是一個時間步（一層）的梯度計算。當然目前所討論的RNN基于輸入序列的長度和輸出序列的長度一致，下面介紹一些其他RNN的結構。

4.不同類型的循環(huán)神經(jīng)網(wǎng)絡

---

????????目前常見的RNN結構有4種：一對一、一對多、多對一、多對多，除去注意力機制，多對多結構也分為兩種（編號4和編號5）。下面我來一一舉例說明這些結構的應用：

????????一對一（編號1）：這個并不重要，給定輸入x，輸出y，如果去掉初始激活值a0，這就是標準的神經(jīng)網(wǎng)絡。

????????一對多（編號2）：音樂生成，比如給定想要生成的音樂風格（可能是一個整數(shù)），然后每一層依次輸出一些值并把值輸入給下層進行合并，最終輸出一個曲子，可以理解為每一層生成一個音符，但是音符又不能獨立，下一層輸出的音符要依靠上一層的音符從而確保曲子的連貫性。

????????多對一（編號3）：類似評價類或者情感分類問題，給定一段文本，要求輸出一個評價或者語句的情感。比如“These is nothing to like in this movie.”（“這部電影沒什么還看的?！?#xff09;，所以輸入x就是一個序列，而輸出y可能是從1到5的一個數(shù)字（代表電影是1星，2星，3星，4星還是5星），或者是0或1（這代表正面評價和負面評價）。

????????多對多（編號4）：這個例子就是上文提到的人名識別任務案例，對于輸入序列的每一個詞都需要輸出是否是人名的一部分。

????????多對多（編號5）：機器翻譯，輸入序列和輸出序列長度不一致。比如輸入英語，翻譯成漢語，那么每個詞依次輸入到網(wǎng)絡中，輸入部分構成編碼器（x輸入的結構）。而網(wǎng)絡讀取所有的詞后，解碼器（y輸出的結構）依次輸出要求翻譯的結果。