1.池化層作用（篩選、過濾、壓縮）
h和w變?yōu)樵瓉淼?/2，64是特征圖個數(shù)保持不變。

每個位置把最大的數(shù)字取出來

用滑動窗口把最大的數(shù)值拿出來，把44變成22

2.卷積神經(jīng)網(wǎng)絡
（1）conv：卷積進行特征提取，帶參數(shù)
（2）relu：激活函數(shù)，非線性變換，不帶參數(shù)
卷積層和relu搭配組合
兩次卷積一次池化，池化是進行壓縮，不帶參數(shù)
FC全連接層【323210=10240特征，5分類】，有權(quán)重參數(shù)矩陣

（3）七層卷積神經(jīng)網(wǎng)絡conv,conv,conv,conv,conv,conv,fc
(4)特征圖變化：
（5）把長方體或者立方體通過轉(zhuǎn)換變成一條向量矩陣，連全連接層。

(5)agg的訓練時長大于alexnet的訓練時長

3.殘差網(wǎng)絡

（1）用經(jīng)典網(wǎng)絡去實驗，agg和resnet都是比較主流的神經(jīng)網(wǎng)絡框架。

4.感受野的作用

second conv粉紅色小格的感受野是first conv33，first conv感受的是輸入數(shù)據(jù)的55，所以最后的一個值是由之前的55得來的。
一般希望感受野越大越好。

（2）用3個小的參數(shù)得到的 比用1個大的卷積核得到的參數(shù)要小
一個77的卷積核需要1個relu，3個3*3的卷積核需要3個relu
，3個relu的非線性特征越強

4.遞歸神經(jīng)網(wǎng)絡

（1）加入一個時間序列，隱層會多一個數(shù)據(jù)，前一個時刻訓練出來的特征也會對后一個特征有影響。

(2)cnn用于cv計算機視覺，rnn用于nlp自然語言處理。

(3)rnn記憶能力比較強，最后一個結(jié)果會把前面所有的結(jié)果考慮進來，可能會產(chǎn)生誤差。l s t m可以忘記一些特征，c為控制參數(shù)，可以決定什么樣的信息會被保留什么樣的信息會被遺忘。

(4)門單元乘法操作

5.詞向量模型的通俗解釋

（1）nlp和自然語言都是同一個詞 ，所以他們在空間上的表達和向量上的表達上一致的。

（2）谷歌給出的官方數(shù)據(jù)是300維更精確。
然后根據(jù)向量之間的距離，用歐式距離、余弦距離用來計算兩個單詞的詞向量。

這個圖是代表50維的詞向量，粉紅色這些數(shù)字的含義相當于編碼，在空間上有意義的，能被計算機識別。
（3）man和boy訓練出來的顏色上很相近的。在詞向量中輸入是有順序的。讓神經(jīng)網(wǎng)絡學到語句的先后順序。輸出層很像多分類層。類似多分類任務后面加入一個softmax層

（4）look up embedding 詞嵌入查找。a向量找a的詞嵌入。
前向傳播計算loss function，反向傳播通過損失函數(shù)計算更新權(quán)重參數(shù)。word2vec不僅更新權(quán)重參數(shù)模型，也會更新輸入。相當于詞嵌入查找表是隨機初始化

6.訓練數(shù)據(jù)的構(gòu)建

（1）指定滑動窗口來構(gòu)建輸入、輸出數(shù)據(jù)
（前提是要保障詞句之間的邏輯關(guān)系）

（2）cbow模型的對比，知道上下文去求中間那個詞

（3）skipgram模型根據(jù)某個詞去預測上下文的內(nèi)容


（4）在gensim的工具包中可以選擇cbow模型以及skipgram模型

（5）由輸入數(shù)據(jù)，根據(jù)embedding look up去查找該詞在詞庫表的位置。假設(shè)拿到一個比較大的語料庫，所以最后的分類的類別也會比較多，這是個問題。最后一層相當于softmax。舊方法是由a預測b，新方法是由a預測b在a之后的概率（把a,b都當成輸入數(shù)據(jù)）

（6）在詞向量模型中不僅要更新參數(shù)，也要更新x。所以在反向傳播當中，我們要更新權(quán)重參數(shù)和輸入數(shù)據(jù)x。