01、實(shí)例：DIEN 模擬興趣演化的序列網(wǎng)絡(luò)

深度興趣演化網(wǎng)絡(luò)(Deep Interest Evolution Network,DIEN)是阿里巴巴團(tuán)隊(duì)在2018年推出的另一力作,比DIN 多了一個Evolution,即演化的概念。

在DIEN 模型結(jié)構(gòu)上比DIN 復(fù)雜許多,但大家絲毫不用擔(dān)心,我們將DIEN 拆解開來詳細(xì)地說明。首先來看從DIEN 論文中截下的模型結(jié)構(gòu)圖,如圖1所示。

■ 圖1 DIEN模型結(jié)構(gòu)全圖

這張圖初看之下很復(fù)雜,但可從簡單到難一點(diǎn)點(diǎn)來說明。首先最后輸出往前一段的截圖如圖2所示。

■ 圖2 DIEN模型結(jié)構(gòu)局部圖(1)

這部分很簡單,是一個MLP,下面一些箭頭表示經(jīng)過處理的向量。這些向量會經(jīng)一個拼接層拼接,然后經(jīng)幾個全連接層,全連接層的激活函數(shù)可選擇PReLU 或者Dice。最后用了一個Softmax(2)表示二分類,當(dāng)然也可用Sigmoid進(jìn)行二分類任務(wù)。

對輸出端了解過后,再來看輸入端,將輸入端的部分放大后截圖如圖3所示。

■ 圖3 DIEN模型結(jié)構(gòu)局部圖(2)

從右往左看,UserProfile Feature 指用戶特征,Context Feature指內(nèi)容特征,Target Ad指目標(biāo)物品,其實(shí)這3個特征表示的無非是隨機(jī)初始化一些向量,或者通過特征聚合的方式量化表達(dá)各種信息。

DIEN 模型的重點(diǎn)就在圖3的user behavior sequence區(qū)域。user behavior sequence代表用戶行為序列,通常利用用戶歷史交互的物品代替。圖4展示了這塊區(qū)域的全貌。

■ 圖4 DIEN模型結(jié)構(gòu)局部圖(3)

這部分是DIEN 算法的核心：

第一部分: 用戶行為序列,是將用戶歷史交互的物品序列經(jīng)Embedding層初始化物品序列向量準(zhǔn)備輸入下一層,代碼如下:

#recbyhand\chapter3\s34_DIEN.py
#初始化embedding
items = nn.Embedding( n_items, dim, max_norm = 1 )
#[batch_size, len_seqs, dim]
item_embs = items(history_seqs)#history_seqs指用戶歷史物品序列id

所以輸出的是一個[批次樣本數(shù)量,序列長度,向量維度]的張量。

第二部分: 興趣抽取層,是一個GRU 網(wǎng)絡(luò),將上一層的輸出在這一層輸入。GRU 是RNN 的一個變種,在PyTorch里有現(xiàn)成模型,所以只有以下兩行代碼。

#recbyhand\chapter3\s34_DIEN.py
#初始化gru網(wǎng)絡(luò)，注意正式寫代碼時，初始化動作通常寫在__init__() 方法里
GRU = nn.GRU( dim, dim, batch_first=True)
outs, h = GRU(item_embs)

和RNN 網(wǎng)絡(luò)一樣,會有兩個輸出,一個是outs,是每個GRU 單元輸出向量組成的序列,維度是[批次樣本數(shù)量,序列長度,向量維度],另一個h 指的是最后一個GRU 單元的輸出向量。在DIEN 模型中,目前位置處的h 并沒有作用,而outs卻有兩個作用。一個作用是作為下一層的輸入,另一個作用是獲取輔助loss。

什么是輔助loss,其實(shí)DIEN 網(wǎng)絡(luò)是一個聯(lián)合訓(xùn)練任務(wù),最終對目標(biāo)物品的推薦預(yù)測可以產(chǎn)生一個損失函數(shù),暫且稱為Ltarget,而這里可以利用歷史物品的標(biāo)注得到一個輔助損失函數(shù),此處稱為Laux。總的損失函數(shù)的計算公式為

其中,α 是輔助損失函數(shù)的權(quán)重系數(shù),是個超參。DIEN 給出的方法是一個二分類預(yù)測,如圖5所示。

■ 圖5 DIEN模型結(jié)構(gòu)局部圖(4)

歷史物品標(biāo)注指的是用戶對對應(yīng)位置的歷史物品交互的情況,通常由1和0組成,1表示“感興趣”,0則表示“不感興趣”,如圖5所示,將GRU 網(wǎng)絡(luò)輸出的outs與歷史物品序列的Embedding輸入一個二分類的預(yù)測模型中即可得到輔助損失函數(shù),代碼如下:

#recbyhand\chapter3\s34_DIEN.py
#輔助損失函數(shù)的計算過程
def forwardAuxiliary( self, outs, item_embs, history_labels ):''':param item_embs: 歷史序列物品的向量 [ batch_size, len_seqs, dim ]:param outs: 興趣抽取層GRU網(wǎng)絡(luò)輸出的outs [ batch_size, len_seqs, dim ]:param history_labels: 歷史序列物品標(biāo)注 [ batch_size, len_seqs, 1 ]:return: 輔助損失函數(shù)'''
#[ batch_size * len_seqs, dim ]
item_embs = item_embs.reshape( -1, self.dim )
#[ batch_size * len_seqs, dim ]outs = outs.reshape( -1, self.dim )
#[ batch_size * len_seqs ]out = torch.sum( outs * item_embs, dim = 1 )
#[ batch_size * len_seqs, 1 ]out = torch.unsqueeze( torch.sigmoid( out ), 1 )
#[ batch_size * len_seqs,1 ]
history_labels = history_labels.reshape( -1, 1 ).float()return self.BCELoss( out, history_labels )

調(diào)整張量形狀后做點(diǎn)乘,Sigmoid激活后與歷史序列物品標(biāo)注做二分類交叉熵?fù)p失函數(shù)(BCEloss)。

以上是第二部分興趣抽取層所做的事情,最后來看最關(guān)鍵的第三部分。

第三部分: 興趣演化層,主要由一個叫作AUGRU 的網(wǎng)絡(luò)組成,AUGRU 是在GRU 的基礎(chǔ)上增加了注意力機(jī)制。全稱叫作GRU With Attentional Update Gate。AUGRU 的細(xì)節(jié)結(jié)構(gòu)如圖6所示。

■ 圖6 AUGRU 單元細(xì)節(jié)

02、圖書推薦

在大數(shù)據(jù)時代背景下，統(tǒng)計學(xué)作為數(shù)據(jù)分析領(lǐng)域的基礎(chǔ)，被應(yīng)用于各行各業(yè)，其方法發(fā)揮著重要作用。為了更廣泛地普及統(tǒng)計學(xué)知識，培養(yǎng)更多的統(tǒng)計學(xué)人才，本書應(yīng)運(yùn)而生。

本書融合大量情景案例，輕松理解統(tǒng)計知識；零基礎(chǔ)起步商務(wù)統(tǒng)計，培養(yǎng)數(shù)據(jù)價值思維。入門級統(tǒng)計學(xué)教程，培養(yǎng)數(shù)據(jù)價值思維。

作為入門級圖書，本書內(nèi)容安排如下。第1章從不確定性出發(fā)，講述統(tǒng)計學(xué)和不確定性的關(guān)系，以及統(tǒng)計學(xué)中用于描述不確定性的各種概率模型。第2章是參數(shù)估計，系統(tǒng)講述統(tǒng)計學(xué)中矩估計和極大似然估計兩種常用的參數(shù)估計方法，并基于兩種方法介紹各種常見概率分布中參數(shù)的點(diǎn)估計和區(qū)間估計。第3章是假設(shè)檢驗(yàn)，首先從不確定性的角度探討實(shí)際中的各種決策問題，幫助讀者理解假設(shè)檢驗(yàn)的思想和應(yīng)用場景，然后系統(tǒng)介紹假設(shè)檢驗(yàn)的方法論及各種常見推廣。第4章是回歸分析，首先介紹回歸分析的思想和廣泛的應(yīng)用場景，然后系統(tǒng)地介紹各類常用模型，從線性回歸到廣義線性回歸，最終落腳到兩種機(jī)器學(xué)習(xí)算法（決策樹、神經(jīng)網(wǎng)絡(luò)）。

本書特別強(qiáng)調(diào)實(shí)際應(yīng)用，因此各個章節(jié)都輔以大量的實(shí)際案例，在介紹統(tǒng)計學(xué)基礎(chǔ)知識的同時培養(yǎng)讀者使用統(tǒng)計學(xué)方法解決實(shí)際問題的能力。