當(dāng)前位置：首頁(yè) > news >正文

企業(yè)網(wǎng)絡(luò)營(yíng)銷策劃案例seo網(wǎng)站推廣軟件

news 2025/7/3 22:01:34

企業(yè)網(wǎng)絡(luò)營(yíng)銷策劃案例,seo網(wǎng)站推廣軟件,wordpress首頁(yè)read more,密碼管理目錄神經(jīng)網(wǎng)絡(luò)的介紹神經(jīng)網(wǎng)絡(luò)的組成神經(jīng)網(wǎng)絡(luò)的工作原理 Numpy 實(shí)現(xiàn)神經(jīng)元 Numpy 實(shí)現(xiàn)前向傳播 Numpy 實(shí)現(xiàn)一個(gè)可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)的介紹神經(jīng)網(wǎng)絡(luò)受人類大腦啟發(fā)的算法。簡(jiǎn)單來(lái)說(shuō)，當(dāng)你睜開(kāi)眼睛時(shí)，你看到的物體叫做數(shù)據(jù)，再由你…

神經(jīng)網(wǎng)絡(luò)的介紹

神經(jīng)網(wǎng)絡(luò)的組成

神經(jīng)網(wǎng)絡(luò)的工作原理

Numpy 實(shí)現(xiàn)神經(jīng)元

Numpy 實(shí)現(xiàn)前向傳播

Numpy 實(shí)現(xiàn)一個(gè)可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的介紹

神經(jīng)網(wǎng)絡(luò)受人類大腦啟發(fā)的算法。簡(jiǎn)單來(lái)說(shuō)，當(dāng)你睜開(kāi)眼睛時(shí)，你看到的物體叫做數(shù)據(jù)，再由你大腦中處理數(shù)據(jù)的 Nuerons（細(xì)胞）操作，識(shí)別出你所看到的物體，這是神經(jīng)網(wǎng)絡(luò)的工作過(guò)程。人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），它們不像你大腦中的神經(jīng)元一樣操作，而是模擬神經(jīng)網(wǎng)絡(luò)的性質(zhì)和功能。

神經(jīng)網(wǎng)絡(luò)的組成

人工神經(jīng)網(wǎng)絡(luò)由大量高度相互關(guān)聯(lián)的處理單元（神經(jīng)元）協(xié)同工作來(lái)解決特定問(wèn)題。首先介紹一種名為感知機(jī)的神經(jīng)元。感知機(jī)接收若干個(gè)輸入，每個(gè)輸入對(duì)應(yīng)一個(gè)權(quán)重值（可以看成常數(shù)），用它們做一些數(shù)學(xué)運(yùn)算，然后產(chǎn)生一個(gè)輸出。

接下來(lái)用形象化的例子解釋感知機(jī)，假設(shè)有一個(gè)計(jì)劃，周末去徒步，影響計(jì)劃是否進(jìn)行的因素有這些：

（1）周末是否加班；
（2）周末的天氣是否惡劣；
（3）往返徒步地點(diǎn)是否方便；

對(duì)于不同人，三個(gè)因素的影響效果也不一樣，如果輸入（2）對(duì)于你來(lái)說(shuō)影響非常大，這樣就設(shè)置的權(quán)重值就大，反之權(quán)重值就小。

再將輸入二值化，對(duì)于天氣不惡劣，設(shè)置為 1（），對(duì)于天氣惡劣，設(shè)置為 0（），天氣的影響程度通過(guò)權(quán)重值體現(xiàn)，設(shè)置為 10（）。同樣設(shè)置輸入（1）的權(quán)值為 8（），輸入（3）的權(quán)重值為 1（）。輸出二值化是去徒步為 1（），不去為 0（）。

假設(shè)對(duì)于感知機(jī)，如果??的結(jié)果大于某閾值（如 5），表示去徒步?，隨機(jī)調(diào)整權(quán)重，感知機(jī)的結(jié)果會(huì)不一樣。

一個(gè)典型的神經(jīng)網(wǎng)絡(luò)有成百上千個(gè)神經(jīng)元（感知機(jī)），排成一列的神經(jīng)元也稱為單元或是層，每一列的神經(jīng)元會(huì)連接左右兩邊的神經(jīng)元。感知機(jī)有輸入和輸出，對(duì)于神經(jīng)網(wǎng)絡(luò)是有輸入單元與輸出單元，在輸入單元和輸出單元之間是一層或多層稱為隱藏單元。一個(gè)單元和另一個(gè)單元之間的聯(lián)系用權(quán)重表示，權(quán)重可以是正數(shù)（如一個(gè)單元激發(fā)另一個(gè)單元），也可以是負(fù)數(shù)（如一個(gè)單元抑制或抑制另一個(gè)單元）。權(quán)重越高，一個(gè)單位對(duì)另一個(gè)單位的影響就越大。

神經(jīng)網(wǎng)絡(luò)的工作原理

神經(jīng)網(wǎng)絡(luò)的工作大致可分為前向傳播和反向傳播，類比人們學(xué)習(xí)的過(guò)程，

前向傳播如讀書期間，學(xué)生認(rèn)真學(xué)習(xí)知識(shí)點(diǎn)，進(jìn)行考試，獲得自己對(duì)知識(shí)點(diǎn)的掌握程度；

反向傳播是學(xué)生獲得考試成績(jī)作為反饋，調(diào)整學(xué)習(xí)的側(cè)重點(diǎn)。

以下展示了 2 個(gè)輸入和 2 個(gè)輸出的神經(jīng)網(wǎng)絡(luò)：

大多數(shù)真實(shí)世界的數(shù)據(jù)是非線性的，我們希望神經(jīng)元學(xué)習(xí)這些非線性表示，可以通過(guò)激活函數(shù)將非線性引入神經(jīng)元。例如徒步例子中的閾值，激活函數(shù) ReLU（Rectified Linear Activation Function）的閾值為 0，對(duì)于大于 0 的輸入，輸出為輸入值，對(duì)于小于 0 的輸入值，輸出為 0，公式和圖像表示如下：

這里擴(kuò)展一下，激活函數(shù)有很多種，例如常用的 sigmoid 激活函數(shù)，只輸出范圍內(nèi)的數(shù)字?，它將無(wú)界輸入轉(zhuǎn)換為具有良好、可預(yù)測(cè)的輸出形式，sigmoid 函數(shù)的公式和圖像如下。

加入 ReLU 激活函數(shù)的神經(jīng)網(wǎng)絡(luò)如下圖所示：

加入 SoftMax 函數(shù)的神經(jīng)網(wǎng)絡(luò)如下圖所示：

獲得神經(jīng)網(wǎng)絡(luò)的輸出值 (0.98, 0.02) 之后，與真實(shí)值 (1, 0) 比較，非常接近，仍然需要與真實(shí)值比較，計(jì)算差距（也稱誤差，用? e表示），就跟摸底考試一樣，查看學(xué)習(xí)的掌握程度，同樣神經(jīng)網(wǎng)絡(luò)也要學(xué)習(xí)，讓輸出結(jié)果無(wú)限接近真實(shí)值，也就需要調(diào)整權(quán)重值，這里就需要反向傳播了。

在反向傳播過(guò)程中需要依據(jù)誤差值來(lái)調(diào)整權(quán)重值，可以看成參數(shù)優(yōu)化過(guò)程，簡(jiǎn)要過(guò)程是，先初始化權(quán)重值，再增加或減少權(quán)重值，查看誤差是否最小，變小繼續(xù)上一步相同操作，變大則上一步相反操作，調(diào)整權(quán)重后查看誤差值，直至誤差值變小且浮動(dòng)不大。

斜率的大小表明變化的速率，意思是當(dāng)斜率比較大的情況下，權(quán)重??變化所引起的結(jié)果變化也大。把這個(gè)概念引入求最小化的問(wèn)題上，以權(quán)重導(dǎo)數(shù)乘以一個(gè)系數(shù)作為權(quán)重更新的數(shù)值，這個(gè)系數(shù)我們叫它學(xué)習(xí)率(learning rate)，這個(gè)系數(shù)能在一定程度上控制權(quán)重自我更新，權(quán)重改變的方向與梯度方向相反，如下圖所示，權(quán)重的更新公式如下：

import?numpy?as?npdef?mse-loss(y_true,?y_pred):#?y_true?and?y_pred?are?numpy?arrays?of?the?same?length.return?((y_true?-?y_pred)?**?2).mean()y_true?=?np.array([1,?0,?0,?1])
y_pred?=?np.array([0,?0,?0,?0])print(mse_loss(y_true,?y_pred))?#?0.5

Numpy 實(shí)現(xiàn)神經(jīng)元

以上介紹了神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及數(shù)學(xué)原理，為了方便大家理解，參數(shù)圍繞著?，后續(xù)繼續(xù)深入學(xué)習(xí)，便遇到??參數(shù)（稱為偏差），神經(jīng)元會(huì)有以下這樣的形式。

Python 代碼實(shí)現(xiàn)如下：

import?numpy?as?npdef?sigmoid(x):#?Our?activation?function:?f(x)?=?1?/?(1?+?e^(-x))return?1?/?(1?+?np.exp(-x))class?Neuron:def?__init__(self,?weights,?bias):self.weights?=?weightsself.bias?=?biasdef?feedforward(self,?inputs):#?Weight?inputs,?add?bias,?then?use?the?activation?functiontotal?=?np.dot(self.weights,?inputs)?+?self.biasreturn?sigmoid(total)weights?=?np.array([0,?1])?#?w1?=?0,?w2?=?1
bias?=?4???????????????????#?b?=?4
n?=?Neuron(weights,?bias)x?=?np.array([2,?3])???????#?x1?=?2,?x2?=?3
print(n.feedforward(x))????#?0.9990889488055994

Numpy 實(shí)現(xiàn)前向傳播

同樣在神經(jīng)網(wǎng)絡(luò)中，如下圖所示，這個(gè)網(wǎng)絡(luò)有 2 個(gè)輸入，一個(gè)隱藏層有 2 個(gè)神經(jīng)元（?和?），和一個(gè)有 1 個(gè)神經(jīng)元的輸出層（）。

輸出如下：

Python 代碼實(shí)現(xiàn)如下：

import?numpy?as?npclass?OurNeuralNetwork:'''A?neural?network?with:-?2?inputs-?a?hidden?layer?with?2?neurons?(h1,?h2)-?an?output?layer?with?1?neuron?(o1)Each?neuron?has?the?same?weights?and?bias:-?w?=?[0,?1]-?b?=?0'''def?__init__(self):weights?=?np.array([0,?1])bias?=?0#?The?Neuron?class?here?is?from?the?previous?sectionself.h1?=?Neuron(weights,?bias)self.h2?=?Neuron(weights,?bias)self.o1?=?Neuron(weights,?bias)def?feedforward(self,?x):out_h1?=?self.h1.feedforward(x)out_h2?=?self.h2.feedforward(x)#?The?inputs?for?o1?are?the?outputs?from?h1?and?h2out_o1?=?self.o1.feedforward(np.array([out_h1,?out_h2]))return?out_o1network?=?OurNeuralNetwork()
x?=?np.array([2,?3])
print(network.feedforward(x))?#?0.7216325609518421