商城網(wǎng)站建設(shè)浩森宇特營(yíng)銷策略怎么寫范文
深度學(xué)習(xí)簡(jiǎn)介
1 深度學(xué)習(xí)簡(jiǎn)介
在介紹深度學(xué)習(xí)之前，我們先看下這幅圖：??智能 > 機(jī)器學(xué)習(xí) > 深度學(xué)習(xí)
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的?個(gè)?集，也就是說(shuō)深度學(xué)習(xí)是實(shí)現(xiàn)機(jī)器學(xué)習(xí)的?種?法。與機(jī)器學(xué)習(xí)算法的主要區(qū)別如下圖所示：
傳統(tǒng)機(jī)器學(xué)習(xí)算術(shù)依賴??設(shè)計(jì)特征，并進(jìn)?特征提取，?深度學(xué)習(xí)?法不需要??，?是依賴算法?動(dòng)提取特征，這也是深度學(xué)習(xí)被看做?盒?，可解釋性差的原因。
隨著計(jì)算機(jī)軟硬件的?速發(fā)展，現(xiàn)階段通過(guò)擁有眾多層數(shù)神經(jīng)?絡(luò) (Neural Network) 來(lái)模擬?腦來(lái)解釋數(shù)據(jù)，包括圖像，?本，?頻等內(nèi)容。?前來(lái)看常?的神經(jīng)?絡(luò)包括：
- 卷積神經(jīng)?絡(luò)(Convolutional Neural Network)
- 循環(huán)神經(jīng)?絡(luò)(Recurrent Neural Network)
- ?成對(duì)抗?絡(luò)(Generative Adversarial Networks)
- 深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning)等。
2 什么是神經(jīng)?絡(luò)
??神經(jīng)?絡(luò) （ Artificial Neural Network ， 簡(jiǎn)寫為 ANN ）也簡(jiǎn)稱為神經(jīng)?絡(luò)（ NN ），是?種模仿?物神經(jīng)?絡(luò)結(jié)構(gòu)和功能的 計(jì)算模型。?腦可以看做是?個(gè)?物神經(jīng)?絡(luò)，由眾多的神經(jīng)元連接?成。各個(gè)神經(jīng)元傳遞復(fù)雜的電信號(hào)，樹突接收到輸?信號(hào)，然后對(duì)信號(hào)進(jìn)?處理，通過(guò)軸突輸出信號(hào)。下圖是?物神經(jīng)元示意圖：
那怎么構(gòu)建??神經(jīng)?絡(luò)中的神經(jīng)元呢？
受?物神經(jīng)元的啟發(fā)，??神經(jīng)元接收來(lái)?其他神經(jīng)元或外部源的輸?，每個(gè)輸?都有?個(gè)相關(guān)的權(quán)值 (w) ，它是根據(jù)該輸?對(duì)當(dāng)前神經(jīng)元的重要性來(lái)確定的，對(duì)該輸?加權(quán)并與其他輸?求和后，經(jīng)過(guò)?個(gè) 激活函數(shù) f ，計(jì)算得到該神經(jīng)元的輸出。那接下來(lái)我們就利?神經(jīng)元來(lái)構(gòu)建神經(jīng)?絡(luò)，相鄰層之間的神經(jīng)元相互連接，并給每?個(gè)連接分配?個(gè)強(qiáng)度，如下圖所示：
神經(jīng)?絡(luò)中信息 只向?個(gè)?向移動(dòng) ，即從輸?節(jié)點(diǎn)向前移動(dòng)，通過(guò)隱藏節(jié)點(diǎn)，再向輸出節(jié)點(diǎn)移動(dòng)，?絡(luò)中沒(méi)有循環(huán)或者環(huán)。其中的基本構(gòu)件是：
- 輸入層（Input Layer）: 即輸入x的那一層（如圖像、文本、聲音等）。每個(gè)輸入特征對(duì)應(yīng)一個(gè)神經(jīng)元。輸入層將數(shù)據(jù)傳遞給下一層的神經(jīng)元。
- 輸出層（Output Layer）: 即輸出y的那一層。輸出層的神經(jīng)元根據(jù)網(wǎng)絡(luò)的任務(wù)（回歸、分類等）生成最終的預(yù)測(cè)結(jié)果。
- 隱藏層（Hidden Layers）: 輸入層和輸出層之間都是隱藏層，神經(jīng)網(wǎng)絡(luò)的“深度”通常由隱藏層的數(shù)量決定。隱藏層的神經(jīng)元通過(guò)加權(quán)和激活函數(shù)處理輸入，并將結(jié)果傳遞到下一層。
特點(diǎn)是：
- 同一層的神經(jīng)元之間沒(méi)有連接
- 第N層的每個(gè)神經(jīng)元和第N-1層的所有神經(jīng)元相連（這就是Fully Connected的含義)，這就是全連接神經(jīng)網(wǎng)絡(luò)（FCNN）
- 全連接神經(jīng)網(wǎng)絡(luò)接收的樣本數(shù)據(jù)是二維的，數(shù)據(jù)在每一層之間需要以二維的形式傳遞
- 第N-1層神經(jīng)元的輸出就是第N層神經(jīng)元的輸入
- 每個(gè)連接都有一個(gè)權(quán)重值（w系數(shù)和b系數(shù)）
神經(jīng)網(wǎng)絡(luò)內(nèi)部狀態(tài)值和激活值
每一個(gè)神經(jīng)元工作時(shí)， 前向傳播 會(huì)產(chǎn)生兩個(gè)值， 內(nèi)部狀態(tài)值（加權(quán)求和值） 和 激活值 ； 反向傳播 時(shí)會(huì)產(chǎn)生 激活值梯度 和 內(nèi)部狀態(tài)值梯度 。
- 內(nèi)部狀態(tài)值
神經(jīng)元或隱藏單元的內(nèi)部存儲(chǔ)值，它反映了當(dāng)前神經(jīng)元接收到的輸入、歷史信息以及網(wǎng)絡(luò)內(nèi)部的權(quán)重計(jì)算結(jié)果。
- 每個(gè)輸入都有一個(gè)與之相乘的權(quán)重，表示每個(gè)輸入信號(hào)的重要性。
- z=w?x+b
- w：權(quán)重矩陣
- x：輸入值
- b：偏置
- 激活值
- 通過(guò)激活函數(shù)（如 ReLU、Sigmoid、Tanh）對(duì)內(nèi)部狀態(tài)值進(jìn)行非線性變換后得到的結(jié)果。激活值決定了當(dāng)前神經(jīng)元的輸出。
- a=f(z)
- f：激活函數(shù)
- z：內(nèi)部狀態(tài)值
3 神經(jīng)元是如何?作的？
??神經(jīng)元接收到?個(gè)或多個(gè)輸?，對(duì)他們進(jìn)?加權(quán)并相加，總和通過(guò)?個(gè) ? 線性函數(shù)產(chǎn)?輸出。
- 所有的輸?xi，與相應(yīng)的權(quán)重wi相乘并求和：
- 將求和結(jié)果送?到激活函數(shù)中，得到最終的輸出結(jié)果：
5 神經(jīng)?絡(luò)的優(yōu)缺點(diǎn)
1. 優(yōu)點(diǎn)
- 精度?，性能優(yōu)于其他的機(jī)器學(xué)習(xí)?法，甚?在某些領(lǐng)域超過(guò)了?類
- 可以近似任意的?線性函數(shù)
- 隨之計(jì)算機(jī)硬件的發(fā)展，近年來(lái)在學(xué)界和業(yè)界受到了熱捧，有?量的框架和庫(kù)可供調(diào)?
2. 缺點(diǎn)
- ?箱，很難解釋模型是怎么?作的
- 訓(xùn)練時(shí)間?，需要?量的計(jì)算?
- ?絡(luò)結(jié)構(gòu)復(fù)雜，需要調(diào)整超參數(shù)
- ?數(shù)據(jù)集上表現(xiàn)不佳，容易發(fā)?過(guò)擬合
總結(jié)
- 知道深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的關(guān)系
- 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的?個(gè)?集，主要區(qū)別在是否包含特征?程
- 知道神經(jīng)?絡(luò)是什么
- ?種模仿?物神經(jīng)?絡(luò)結(jié)構(gòu)和功能的 計(jì)算模型
- 知道常?的激活函數(shù)
- 默認(rèn)使?relu，?分類是sigmoid, 多分類是softmaxs
- 知道參數(shù)初始化的常??法
- 隨機(jī)初始化，標(biāo)準(zhǔn)初始化，Xavier初始化，He初始化
- 能夠構(gòu)建神經(jīng)?絡(luò)模型
- 了解神經(jīng)?絡(luò)的優(yōu)缺點(diǎn)