神經(jīng)網(wǎng)絡(luò)

• 神經(jīng)網(wǎng)絡(luò)：大量神經(jīng)元節(jié)點(diǎn)按一定體系架構(gòu)連接成的網(wǎng)狀結(jié)構(gòu)——大腦結(jié)構(gòu)

• 神經(jīng)網(wǎng)絡(luò)的作用
  - 分類
  - 模式識(shí)別
  - 連續(xù)值預(yù)測(cè)

  • 建立輸入與輸出的映射關(guān)系

  生物神經(jīng)元

  

  人工神經(jīng)元

每個(gè)神經(jīng)元都是一個(gè)結(jié)構(gòu)相似的獨(dú)立單位，接受前一層傳來的數(shù)據(jù)，并將這些數(shù)據(jù)的加權(quán)和輸入非線性作用函數(shù)中，最后將非線性作用函數(shù)的輸出結(jié)果傳遞給后一層。

激活函數(shù)

導(dǎo)數(shù)

人工神經(jīng)網(wǎng)絡(luò)

“層”的通俗理解

前饋神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)的一種，無(wú)反饋，可用一個(gè)有向無(wú)環(huán)圖表示。

Delta學(xué)習(xí)規(guī)則

一種有監(jiān)督學(xué)習(xí)算法。根據(jù)神經(jīng)元的實(shí)際輸出與期望輸出差別來調(diào)整連接權(quán)。

前饋神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)

梯度下降

輸出層權(quán)重改變量

誤差方向傳播算法

誤差傳播迭代公式

簡(jiǎn)單的BP算例

隨機(jī)梯度下降（SGD）

Mini-batch Gradient Descent

典型的機(jī)器學(xué)習(xí)步驟

特征對(duì)學(xué)習(xí)的影響

深度學(xué)習(xí)的特征

深度學(xué)習(xí)是對(duì)神經(jīng)網(wǎng)絡(luò)模型的拓展。

“連接主義”的興衰史

深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的區(qū)別