這里有Coursera吳恩達《深度學習》課程的完整學習筆記，一共5門課：《神經(jīng)網(wǎng)絡(luò)和深度學習》、《改善深層神經(jīng)網(wǎng)絡(luò)》、《結(jié)構(gòu)化機器學習項目》、《卷積神經(jīng)網(wǎng)絡(luò)》和《序列模型》，

第一門課：神經(jīng)網(wǎng)絡(luò)和深度學習基礎(chǔ)，介紹一些基本概念。（四周）

第二門課：深度學習方面的實踐，嚴密的構(gòu)建神經(jīng)網(wǎng)絡(luò)，如何真正讓它表現(xiàn)良好。超參數(shù)調(diào)整，正則化診斷偏差和方差，高級優(yōu)化算法，如Momentum和Adam算法。（三周）

第三門課：學習如何結(jié)構(gòu)化你的機器學習項目，構(gòu)建機器學習系統(tǒng)的策略改變深度學習的錯誤，以及端對端深度學習。（兩周）

第四門課：大名鼎鼎的卷積神經(jīng)網(wǎng)絡(luò)CNN，常應(yīng)用于圖像領(lǐng)域，介紹如何搭建這樣的模型，包括卷積層，池化層和全連接層這些組件；經(jīng)典模型（VGG、AlexNet和LeNet-5，以及ResNets和Inception系列）。（四周）

第五門課：序列模型，如何將它們應(yīng)用于自然語言處理以及其他問題。系列模型包括的模型有循環(huán)神經(jīng)網(wǎng)絡(luò)RNN，長短期記憶網(wǎng)絡(luò)LSTM模型，應(yīng)用于序列數(shù)據(jù)NLP，或者語音識別或者編曲。（三周）

01 神經(jīng)網(wǎng)絡(luò)和深度學習（Neural Networks and Deep Learning）

1-1 深度學習概論

1-1 Coursera吳恩達《神經(jīng)網(wǎng)絡(luò)與深度學習》第一周課程筆記-深度學習概論

1-2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1-2 Coursera吳恩達《神經(jīng)網(wǎng)絡(luò)與深度學習》第二周課程筆記-神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

1-3 淺層神經(jīng)網(wǎng)絡(luò)

1-3 Coursera吳恩達《神經(jīng)網(wǎng)絡(luò)與深度學習》第三周課程筆記-淺層神經(jīng)網(wǎng)絡(luò)

• 主要介紹：神經(jīng)網(wǎng)絡(luò)、激活函數(shù)、梯度下降法、反向傳播、隨機初始化等；

神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，包括輸入層（input layer），隱藏層（hidden layer）和輸出層（output layer）。然后以簡單的2層神經(jīng)網(wǎng)絡(luò)為例，詳細推導了其正向傳播過程和反向傳播過程，使用梯度下降的方法優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)。同時，我們還介紹了不同的激活函數(shù)，比較各自優(yōu)缺點，討論了激活函數(shù)必須是非線性的原因。最后介紹了神經(jīng)網(wǎng)絡(luò)參數(shù)隨機初始化的必要性，特別是權(quán)重W，不同神經(jīng)元的W不能初始化為同一零值。

1-4 深層神經(jīng)網(wǎng)絡(luò)

• 主要介紹：深度神經(jīng)網(wǎng)絡(luò)、DNN的前向和反向傳播、參數(shù)和超參數(shù)等；

1-4 Coursera吳恩達《神經(jīng)網(wǎng)絡(luò)與深度學習》第四周課程筆記-深層神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的層數(shù)是從左到右，由0開始定義

當我們算神經(jīng)網(wǎng)絡(luò)的層數(shù)時，我們不算輸入層，只算隱藏層和輸出層。

4.8這和大腦有什么關(guān)系》What does this have to do with the brain?
那么，神經(jīng)網(wǎng)絡(luò)跟人腦機制到底有什么聯(lián)系呢？究竟有多少的相似程度？其實關(guān)聯(lián)性不大。當你在實現(xiàn)一個神經(jīng)網(wǎng)絡(luò)的時候，那些公式是你在做的東西，你會做前向傳播、反向傳播、梯度下降法，其實很難表述這些公式具體做了什么，深度學習像大腦這樣的類比其實是過度簡化了我們的大腦具體在做什么，但因為這種形式很簡潔，也能讓普通人更愿意公開討論，也方便新聞報道并且吸引大眾眼球，但這個類比是非常不準確的。

一個神經(jīng)網(wǎng)絡(luò)的邏輯單元可以看成是對一個生物神經(jīng)元的過度簡化，但它是極其復雜的，單個神經(jīng)元到底在做什么目前還沒有人能夠真正可以解釋。這是值得生物學家探索的事情。

深度學習的確是個很好的工具來學習各種很靈活很復雜的函數(shù)，學習到從x到y(tǒng)的映射，在監(jiān)督學習中學到輸入到輸出的映射。? .

在這個神經(jīng)網(wǎng)絡(luò)里面，一個神經(jīng)元就相當于一個邏輯回歸函數(shù)，所以上圖中有很多邏輯回歸函數(shù)，其中每個邏輯回歸都有自己的權(quán)重和自己的偏差，這些權(quán)重和偏差就是參數(shù)。

圖中紅框表示的就是神經(jīng)元，多個神經(jīng)元以不同的方式進行連接，就會構(gòu)成不同結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)。神經(jīng)元的連接方式是由人工設(shè)計的。

神經(jīng)元：神經(jīng)元的結(jié)構(gòu)如圖所示

? ? ??

? ? ? ? ? ? ? ? ? ? ?

?

?

02 改善深層神經(jīng)網(wǎng)絡(luò)：超參數(shù)調(diào)試、正則化以及優(yōu)化（Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization）

2-1 深度學習的實踐方面

• 主要介紹：訓練測試集劃分、偏差和方差、正則化、Dropout、輸入歸一化、梯度消失與梯度爆炸、權(quán)重初始化、梯度檢驗等；

2-1 Coursera吳恩達《改善深度神經(jīng)網(wǎng)絡(luò)》 第一周課程筆記-深度學習的實踐方面

????????防止過擬合的兩種方法：正則化（如L2 regularization）和Dropout

2-2 優(yōu)化算法
2-2 Coursera吳恩達《改善深度神經(jīng)網(wǎng)絡(luò)》第二周課程筆記-優(yōu)化算法

????????主要介紹：Mini-batch梯度下降、指數(shù)加權(quán)平均、Momentum梯度下降、RMSprop、Adam優(yōu)化算法、衰減學習率、局部最優(yōu)等

對原始數(shù)據(jù)集進行分割，使用mini-batch 梯度下降算法，

三種常用的加速神經(jīng)網(wǎng)絡(luò)學習速度的三種算法：

????????動量梯度下降（Momentum）、

????????RMSprop

????????Adam算法。其中，Adam結(jié)合了動量梯度下降和RMSprop各自的優(yōu)點，實際應(yīng)用中表現(xiàn)更好。

另外一種提高學習速度的方法：學習率衰減（learning rate decay）

????????通過不斷減小學習因子，減小步進長度，來減小梯度振蕩。最后，我們對深度學習中局部最優(yōu)（local optima）的概念作了更深入的解釋。

2-3 超參數(shù)調(diào)試和Batch Norm及框架
2-3 Coursera吳恩達《改善深度神經(jīng)網(wǎng)絡(luò)》第三周課程筆記-超參數(shù)調(diào)試、Batch正則化和編程框架

TensorFlow的優(yōu)點在于建立了計算圖（computation graph），通過用這個計算損失，計算圖基本實現(xiàn)前向傳播，TensorFlow已經(jīng)內(nèi)置了所有必要的反向函數(shù)，回憶一下訓練深度神經(jīng)網(wǎng)絡(luò)時的一組前向函數(shù)和一組反向函數(shù)，而像TensorFlow之類的編程框架已經(jīng)內(nèi)置了必要的反向函數(shù)，這也是為什么通過內(nèi)置函數(shù)來計算前向函數(shù)，它也能自動用反向函數(shù)來實現(xiàn)反向傳播，即便函數(shù)非常復雜，再幫你計算導數(shù)，這就是為什么你不需要明確實現(xiàn)反向傳播，這是編程框架能幫你變得高效的原因之一。

Batch歸一化，以及如何用它來加速神經(jīng)網(wǎng)絡(luò)的訓練

03 結(jié)構(gòu)化機器學習項目（Structuring Machine Learning Projects）
3-1 機器學習策略（1）
3-1 Coursera吳恩達《構(gòu)建機器學習項目》 第一周課程筆記-機器學習策略（1）

????????查準率的定義是在你的分類器標記為貓的例子中，有多少真的是貓。

????????查全率定義就是，對于所有真貓的圖片，你的分類器A正確識別出了多少百分比。實際為貓的圖片中，有多少被系統(tǒng)識別出來？

想想學車的時候，一輛車有三個主要控制，第一是方向盤（steering），方向盤決定我們往左右偏多少，還有油門（acceleration）和剎車（braking）。就是這三個控制，其中一個控制方向，另外兩個控制速度，這樣就比較容易解讀。知道不同控制的不同動作會對車子運動有什么影響。所以正交化的概念是指，可以想出一個維度，這個維度是控制轉(zhuǎn)向角，還有另一個維度來控制速度，那么就需要一個旋鈕盡量只控制轉(zhuǎn)向角，另一個旋鈕，在這個開車的例子里其實是油門和剎車控制了速度。

首先，你的算法對訓練集的擬合很好，這可以看成是你能做到可避免偏差很低。還有第二件事你可以做好的是，在訓練集中做得很好，然后推廣到開發(fā)集和測試集也很好，這就是說方差不是太大。

練錯誤率和貝葉斯錯誤率的距離（可避免偏差）以及開發(fā)錯誤率和訓練錯誤率的距離（方差）

解決可避免偏差的常用方法包括：

Train bigger model
Train longer/better optimization algorithms: momentum, RMSprop, Adam
NN architecture/hyperparameters search

解決方差的常用方法包括：

More data
Regularization: L2, dropout, data augmentation
NN architecture/hyperparameters search

3-2 機器學習策略（2）
3-2 Coursera吳恩達《構(gòu)建機器學習項目》 第二周課程筆記-機器學習策略（2）

04 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）
4-1 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
4-1 Coursera吳恩達《卷積神經(jīng)網(wǎng)絡(luò)》 第一周課程筆記-卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

卷積，padding，步長的概念，卷積層，池化層，全連接層這些組件

4-2 卷積神經(jīng)網(wǎng)絡(luò)實例模型
4-2 Coursera吳恩達《卷積神經(jīng)網(wǎng)絡(luò)》 第二周課程筆記-深度卷積模型：實例探究

上圖是LeNet-5的網(wǎng)絡(luò)結(jié)構(gòu)，假設(shè)有一張32×32×1的圖片（輸入），LeNet-5可以識別圖中的手寫數(shù)字，比如像這樣手寫數(shù)字7。LeNet-5是針對灰度圖片訓練的，所以圖片的大小只有32×32×1。實際上LeNet-5的結(jié)構(gòu)和我們上周講的最后一個范例非常相似，使用6個5×5的過濾器，步幅為1。由于使用了6個過濾器，步幅為1，padding為0，輸出結(jié)果為28×28×6，圖像尺寸從32×32縮小到28×28。然后進行池化（pooling）操作，在這篇論文發(fā)布的那個年代，人們更喜歡使用平均池化，而現(xiàn)在我們可能用最大池化更多一些。在這個例子中，我們進行平均池化，過濾器的寬度為2，步幅為2，圖像的尺寸，高度和寬度都縮小了2倍，輸出結(jié)果是一個14×14×6的圖像。這張圖片應(yīng)該不是完全按照比例繪制的，如果嚴格按照比例繪制，新圖像的尺寸應(yīng)該剛好是原圖像的一半。

接下來是卷積層，用一組16個5×5的過濾器，新的輸出結(jié)果有16個通道。LeNet-5的論文是在1998年撰寫的，當時人們并不使用padding，或者總是使用valid卷積，這就是為什么每進行一次卷積，圖像的高度和寬度都會縮小，所以這個圖像從14到14縮小到了10×10。然后又是池化層，高度和寬度再縮小一半，輸出一個5×5×16的圖像。將所有數(shù)字相乘，乘積是400。

下一層是全連接層，在全連接層中，有400個節(jié)點，每個節(jié)點有120個神經(jīng)元，這里已經(jīng)有了一個全連接層。但有時還會從這400個節(jié)點中抽取一部分節(jié)點構(gòu)建另一個全連接層，就像這樣，有2個全連接層。

最后一步就是利用這84個特征得到最后的輸出，我們還可以在這里再加一個節(jié)點用來預測y帽的值，y帽有10個可能的值（對應(yīng)識別0-9這10個數(shù)字）。在現(xiàn)在的版本中則使用softmax函數(shù)輸出十種分類結(jié)果，而在當時，LeNet-5網(wǎng)絡(luò)在輸出層使用了另外一種，現(xiàn)在已經(jīng)很少用到的分類器。

相比現(xiàn)代版本，這里得到的神經(jīng)網(wǎng)絡(luò)會小一些，只有約6萬個參數(shù)。而現(xiàn)在經(jīng)?？吹胶幸磺f（10 million）到一億（100 million）個參數(shù)的神經(jīng)網(wǎng)絡(luò)，比這大1000倍的神經(jīng)網(wǎng)絡(luò)也不在少數(shù)。

不管怎樣，如果我們從左往右看，隨著網(wǎng)絡(luò)越來越深，圖像的高度和寬度在縮小，從最初的32×32縮小到28×28，再到14×14、10×10，最后只有5×5。與此同時，隨著網(wǎng)絡(luò)層次的加深，通道數(shù)量一直在增加，從1增加到6個，再到16個?

①讀到這篇經(jīng)典論文時，你會發(fā)現(xiàn)，過去人們使用sigmoid函數(shù)和tanh函數(shù)，而不是ReLu函數(shù)，這篇論文中使用的正是sigmoid函數(shù)和tanh函數(shù)。這種網(wǎng)絡(luò)結(jié)構(gòu)的特別之處還在于，各網(wǎng)絡(luò)層之間是有關(guān)聯(lián)的，

②經(jīng)典的LeNet-5網(wǎng)絡(luò)使用了非常復雜的計算方式，每個過濾器都采用和輸入模塊一樣的通道數(shù)量。論文中提到的這些復雜細節(jié)，現(xiàn)在一般都不用了。

AlexNet首先用一張227×227×3的圖片作為輸入（實際上原文中使用的圖像是224×224×3），但是如果你嘗試去推導一下，你會發(fā)現(xiàn)227×227這個尺寸更好一些。第一層使用96個11×11的過濾器，步幅為4，因此尺寸縮小到55×55，縮小了4倍左右。然后用一個3×3的過濾器構(gòu)建最大池化層，f = 3，步幅為2，卷積層尺寸縮小為27×27×96。接著再執(zhí)行一個5×5的卷積，padding之后，輸出是27×27×276。然后再次進行最大池化，尺寸縮小到13×13。再執(zhí)行一次same卷積，相同的padding，得到的結(jié)果是13×13×384，384個過濾器。再做一次same卷積。再做一次同樣的操作，最后再進行一次最大池化，尺寸縮小到6×6×256。6×6×256等于9216，將其展開為9216個單元，然后是一些全連接層。最后使用softmax函數(shù)輸出識別的結(jié)果，看它究竟是1000個可能的對象中的哪一個。

實際上，AlexNet神經(jīng)網(wǎng)絡(luò)與LeNet有很多相似之處，不過AlexNet要大得多。正如前面講到的LeNet或LeNet-5大約有6萬個參數(shù)，而AlexNet包含約6000萬個參數(shù)。當用于訓練圖像和數(shù)據(jù)集時，AlexNet能夠處理非常相似（pretty similar）的基本構(gòu)造模塊（basic building blocks），這些模塊往往包含著大量的隱藏單元或數(shù)據(jù)，這一點AlexNet表現(xiàn)出色。AlexNet比LeNet表現(xiàn)更為出色的另一個原因是它使用了ReLu激活函數(shù)。

下面提一些比較深奧的內(nèi)容，如果你并不打算閱讀論文，不聽也沒有關(guān)系。（上圖下方的紅色筆記）（1）第一點，在寫這篇論文的時候，GPU的處理速度還比較慢，所以AlexNet采用了非常復雜的方法在兩個GPU上進行訓練。大致原理是，這些層分別拆分到兩個不同的GPU上，同時還專門有一個方法用于兩個GPU進行交流。（2）論文還提到，經(jīng)典的AlexNet結(jié)構(gòu)還有“局部響應(yīng)歸一化層”（Local Response Normalization），即LRN層，這類層應(yīng)用得并不多，所以Andrew并沒有專門講。局部響應(yīng)歸一層的基本思路（basic idea）是，假如這是網(wǎng)絡(luò)的一塊，比如是13×13×256，LRN要做的就是選取一個位置，從這個位置穿過整個通道，能得到256個數(shù)字，并進行歸一化。進行局部響應(yīng)歸一化的動機是，對于這張13×13的圖像中的每個位置來說，我們可能并不需要太多的高激活神經(jīng)元（a very high activation）。后來，很多研究者發(fā)現(xiàn)LRN起不到太大作用，現(xiàn)在并不用LRN來訓練網(wǎng)絡(luò)。

也叫作VGG-16網(wǎng)絡(luò)。VGG-16網(wǎng)絡(luò)沒有那么多超參數(shù)，這是一種只需要專注于構(gòu)建卷積層的簡單網(wǎng)絡(luò)。首先用3×3，步幅為1的過濾器構(gòu)建卷積層，padding參數(shù)為same卷積中的參數(shù)。然后用一個2×2，步幅為2的過濾器構(gòu)建最大池化層。因此VGG網(wǎng)絡(luò)的一大優(yōu)點是它確實簡化了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，下面具體看看這種網(wǎng)絡(luò)結(jié)構(gòu)。

假設(shè)要識別這個圖像224×224×3，在最開始的兩層用64個3×3的過濾器對輸入圖像進行卷積，輸出結(jié)果是224×224×64，因為使用了same卷積，通道數(shù)量也一樣。（注意這里沒有畫出所有的卷積層）進行第一個卷積之后得到224×224×64的特征圖，接著還有一層224×224×64，得到這樣2個厚度為64的卷積層，意味著我們用64個過濾器進行了兩次卷積。接下來創(chuàng)建一個池化層，池化層將輸入圖像進行壓縮，從224×224×64縮小到多少呢？沒錯，減少到112×112×64。然后又是若干個卷積層，使用129個過濾器，以及一些same卷積，我們看看輸出什么結(jié)果，112×112×128。然后進行池化，可以推導出池化后的結(jié)果是這樣（56×56×128）。接著再用256個相同的過濾器進行三次卷積操作，然后再池化，然后再卷積三次，再池化。如此進行幾輪操作后，將最后得到的7×7×512的特征圖進行全連接操作，得到4096個單元，然后進行softmax激活，輸出從1000個對象中識別的結(jié)果。

VGG-16的16，就是指這個網(wǎng)絡(luò)中包含16個卷積層和全連接層。確實是個很大的網(wǎng)絡(luò)，總共包含約1.38億個參數(shù)，即便以現(xiàn)在的標準來看都算是非常大的網(wǎng)絡(luò)。但VGG-16的結(jié)構(gòu)并不復雜，這點非常吸引人，而且這種網(wǎng)絡(luò)結(jié)構(gòu)很規(guī)整（quite uniform），都是幾個卷積層后面跟著可以壓縮圖像大小的池化層，池化層縮小圖像的高度和寬度。同時，卷積層的過濾器數(shù)量變化存在一定的規(guī)律，由64翻倍變成128，再到256和512。作者可能認為512已經(jīng)足夠大了，后面的層就不再翻倍了。無論如何，每一步都進行翻倍，或者說在每一組卷積層進行過濾器翻倍操作，正是設(shè)計此種網(wǎng)絡(luò)結(jié)構(gòu)的另一個簡單原則（another simple principle）。這種相對一致的網(wǎng)絡(luò)結(jié)構(gòu)對研究者很有吸引力，而它的主要缺點（downside）是需要訓練的特征數(shù)量非常巨大。

Andrew最喜歡它的一點是：隨著網(wǎng)絡(luò)的加深，圖像的高度和寬度都在以一定的規(guī)律不斷縮小，每次池化后剛好縮小一半，而通道數(shù)量在不斷增加，而且剛好也是在每組卷積操作后增加一倍。圖像縮小的比例和通道數(shù)增加的比例是有規(guī)律的。

2.3 殘差網(wǎng)絡(luò)(ResNets)》Residual Networks (ResNets)
非常非常深的神經(jīng)網(wǎng)絡(luò)是很難訓練的，因為存在梯度消失和梯度爆炸問題。這節(jié)課我們學習跳躍連接（Skip connection），它可以從某一層網(wǎng)絡(luò)層獲取激活，然后迅速反饋給另外一層，甚至是神經(jīng)網(wǎng)絡(luò)的更深層。利用跳躍連接構(gòu)建能夠訓練深度網(wǎng)絡(luò)的ResNets，有時深度能夠超過100層。ResNets是由殘差塊（Residual block）構(gòu)建的，首先看一下什么是殘差塊。

假設(shè)使用標準優(yōu)化算法（梯度下降法等）訓練一個普通網(wǎng)絡(luò)，如果沒有殘差，沒有這些捷徑或者跳躍連接，憑經(jīng)驗?zāi)銜l(fā)現(xiàn)隨著網(wǎng)絡(luò)深度的加深，訓練錯誤會先減少，然后增多。而理論上，隨著網(wǎng)絡(luò)深度的加深，應(yīng)該訓練得越來越好才對，網(wǎng)絡(luò)深度越深模型效果越好。但實際上，如果沒有殘差網(wǎng)絡(luò)，對于一個普通網(wǎng)絡(luò)來說，深度越深意味著用優(yōu)化算法越難訓練，隨著網(wǎng)絡(luò)深度的加深，訓練錯誤會越來越多。

但有了ResNets就不一樣了，即使網(wǎng)絡(luò)再深，訓練的表現(xiàn)卻不錯，比如說訓練誤差減少，就算是訓練深達100層的網(wǎng)絡(luò)也不例外。對x的激活，或者這些中間的激活能夠到達網(wǎng)絡(luò)的更深層。這種方式有助于解決梯度消失和梯度爆炸問題，在訓練更深網(wǎng)絡(luò)的同時，又能保證良好的性能。

4-3目標檢測

• 主要介紹：目標定位、目標檢測、Bounding Box預測、交并比、非最大值抑制NMS、Anchor box、YOLO算法、候選區(qū)域region proposals等；

4-3 Coursera吳恩達《卷積神經(jīng)網(wǎng)絡(luò)》 第三周課程筆記-目標檢測

4-4 特殊應(yīng)用：人臉識別和神經(jīng)風格遷移

• 主要介紹：人臉識別、one-shot學習、Siamese網(wǎng)絡(luò)、Triplet損失、風格遷移、內(nèi)容損失、風格損失、1D-3D卷積等；

4-4 Coursera吳恩達《卷積神經(jīng)網(wǎng)絡(luò)》 第四周課程筆記-特殊應(yīng)用：人臉識別和神經(jīng)風格轉(zhuǎn)換

05 序列模型(Sequence Models)

5-1 循環(huán)神經(jīng)網(wǎng)絡(luò)

• 主要介紹：循環(huán)神經(jīng)網(wǎng)絡(luò)、不同類型的RNN、語言模型、新序列采樣、RNN梯度消失、GRU、LSTM、雙向RNN、深層RNNs等；

5-1 Coursera吳恩達《序列模型》 第一周課程筆記-循環(huán)序列網(wǎng)絡(luò)(RNN)

5-2 自然語言處理和詞嵌入

• 主要介紹：詞匯表征、Word Embedding、嵌入矩陣、Word2Vec、負采樣、GloVe詞向量、情感分類、詞嵌入消除偏見等；

5-2 Coursera吳恩達《序列模型》 第二周課程筆記-自然語言處理和詞嵌入

5-3 序列模型和注意力機制

• 主要介紹：序列到序列模型、集束搜索（Beam search）、集束搜索誤差分析、Bleu得分、注意力模型、注意力權(quán)重、語音識別、觸發(fā)字檢測等；

5-3 Coursera吳恩達《序列模型》 第三周課程筆記-序列模型和注意力機制

06 人工智能大師訪談

【人工智能行業(yè)大師訪談1】吳恩達采訪 Geoffery Hinton

【人工智能行業(yè)大師訪談2】吳恩達采訪 Pieter Abbeel

【人工智能行業(yè)大師訪談3】吳恩達采訪 Ian Goodfellow

【人工智能行業(yè)大師訪談4】吳恩達采訪Yoshua Bengio

【人工智能行業(yè)大師訪談5】吳恩達采訪林元慶

【人工智能行業(yè)大師訪談6】吳恩達采訪 Andrej Karpathy

【人工智能行業(yè)大師訪談7】吳恩達采訪 Ruslan Salakhutdinov