“那我們用 對(duì)數(shù)（log） 吧！” 另一個(gè)數(shù)學(xué)家說道。

“既然不相近，我們假設(shè)這個(gè)公式的輸出為$Loss$吧！代表 “損失”：

如果輸入的$y^i$為 1 ，我就讓$Loss=?\log ({\hat{y}}^{(i)})$， 這樣如果${\hat{y}}^i$接近 0 時(shí)，S會(huì)特別大，反之會(huì)特別小。
如果輸入的$y^i$為 0， 我就讓$Loss=?\log (1?{\hat{y}}^{(i)})$， 這樣如果${\hat{y}}^i$接近 1 時(shí)，S會(huì)特別大，反之會(huì)特別小。”

“那我們把它們結(jié)合一下吧，成為一個(gè)公式。同時(shí)讓這兩個(gè)公式添加兩個(gè)非0即1的相反的乘數(shù)。雖然是一個(gè)公式，但是同時(shí)只有一半可以用?！?/p>

“我看就用 $y^i$ 和 $1?y^i$ 吧，這兩個(gè)不是標(biāo)簽么？非0即1”

“太棒了！讓我再來添加一個(gè)帥氣的符號(hào)吧！把它變成：
$$Loss=L(y,\hat{y})=?[y\log (\hat{y})+(1?y)\log (1?\hat{y})]$$”
“太帥了!!!,我們給它取一個(gè)名字吧！同時(shí)找一個(gè)帥氣的翻譯者，把它翻譯詞讓人 望!而!生!畏! 的中文吧！”

“那就叫：

二元交叉熵?fù)p失函數(shù)（Binary Cross-Entropy Loss，也稱為log loss）

吧！”

“既然有處理單個(gè)數(shù)據(jù)的函數(shù)了，那么我們?cè)俑纳埔幌掳?#xff0c;讓它可以處理多個(gè)數(shù)據(jù)吧！”

“這好辦呀！假設(shè)有$M$個(gè)數(shù)據(jù)，我們把每一個(gè)單一的數(shù)據(jù)結(jié)果加起來，然后再除以$M$不就好了嗎？”

“既然結(jié)果依賴于${\hat{y}}^{(i)}$和$y^{(i)}$，同時(shí)$y^{(i)}$和$x^{(i)}$是給定的不能修改，那么可以說結(jié)果決度定于${\hat{y}}^{(i)}$”

“${\hat{y}}^{(i)}$不是來源于${\hat{y}}^{(}i)=\frac{1}{1+e^{?(w^T?x^{(i)}+b)}}$嗎？而且剛剛不是有個(gè)高大威猛帥氣的男生說 邏輯回歸的目標(biāo)，就是找到合適的 $w$和 $b$ 嗎？那我們干脆直接用 $w$和 $b$作表示吧，那不就是…”

$$J(w,b)=\frac{1}{m}\sum _{i=1}^m\text{L}(y^{(i)},{\hat{y}}^{(i)})$$

這，就是損失函數(shù)（Cost Function / Loss Function）

在深度學(xué)習(xí)中，我們需要找合適的$w$和$b$，盡可能的縮小$J(w,b)$

5.2 前向傳播

通過我們現(xiàn)在的知識(shí)，可以構(gòu)建前向傳播了。

前向傳播（Forward Propagation）： 是神經(jīng)網(wǎng)絡(luò)中的一個(gè)過程，其中輸入數(shù)據(jù)從輸入層流經(jīng)網(wǎng)絡(luò)的每一層，直到最后生成輸出。在這個(gè)過程中，每一層的神經(jīng)元接收上一層的輸出（對(duì)于第一層，接收輸入數(shù)據(jù)），并通過加權(quán)和以及激活函數(shù)產(chǎn)生該層的輸出。這些輸出隨后被傳遞到下一層，直至達(dá)到輸出層。

前向傳播的目的是基于當(dāng)前的參數(shù)（權(quán)重和偏置）和輸入數(shù)據(jù)來計(jì)算網(wǎng)絡(luò)的輸出。當(dāng)?shù)玫骄W(wǎng)絡(luò)的輸出之后，我們可以將它與真實(shí)的目標(biāo)或標(biāo)簽值進(jìn)行比較，從而計(jì)算損失。

代碼：

#前向傳播：計(jì)算損失
def propagate(w,b,X,Y):
#傳入的參數(shù)：# w:權(quán)重向量，維度為[X.shape[0],1]#每一個(gè)元素的值隨機(jī)  參見初始化函數(shù)#w的第一個(gè)維度應(yīng)該等于X.shape[0]，為什么？因?yàn)閣.T也就是[1,X.shape[0]]要X進(jìn)行點(diǎn)乘 參見線性回歸函數(shù)# b：偏差，一個(gè)常數(shù)# X：輸入的矩陣，當(dāng)前為 (12288, 209)# Y：標(biāo)簽矩陣 ，當(dāng)前為（1,209）
#返回的參數(shù)#cost:當(dāng)前一輪訓(xùn)練完成后，計(jì)算得到的損失值的平均,單個(gè)的點(diǎn)相較于決策邊界的成本的總和的平均m=X.shape[1] #X的第二個(gè)參數(shù)，也就是樣本的總個(gè)數(shù)  #Z=w.T*X+b  #線性函數(shù)
A=sigmoid(np.dot(w.T,X)+b) #sigmoid函數(shù)（將線性函數(shù)集成了）
#此時(shí)這里A是一個(gè)矩陣，里面的內(nèi)容是模型的預(yù)測(cè)值#使用向量化以后的組合           
cost=(-1/m)*np.sum(Y*np.log(A) + (1-Y)*(np.log(1-A)))
#注意，因?yàn)橛?jì)算機(jī)的時(shí)候參與了Y矩陣，所以這個(gè)時(shí)候cost里面有一個(gè)下標(biāo)為1,對(duì)于Y（1,209）來說這個(gè)1是確保Y是一個(gè)矩陣，但是對(duì)于cost，這個(gè)1是無用的，我們需要移除
cost=np.squeeze(cost)    return cost

5.3 后向傳播

現(xiàn)在我們已經(jīng)知道了“損失”，我們便可以通過“損失”的大小來反向的調(diào)整$w$和$b$，使得$z=w^T?x+b$ 畫出來的決策邊界可以盡可能的擬合所有的點(diǎn)。

怎么做呢？

使用梯度下降

5.3.1 梯度下降算法

梯度下降算法它的公式為：

對(duì)于$w$的更新：
1：求損失函數(shù) $J$關(guān)于權(quán)重$w$的偏導(dǎo)數(shù)
$$\frac{?J}{?w}=\frac{1}{m}X(\hat{Y}?Y{)}^T$$
2:新的$w$等于當(dāng)前$w?a$倍的損失函數(shù) $J$關(guān)于權(quán)重$w$的偏導(dǎo)數(shù)
$$w=w?\alpha \frac{?J}{?w}$$

對(duì)于$b$的更新：
1：求損失函數(shù) $J$關(guān)于權(quán)重$b$的偏導(dǎo)數(shù)
$$\frac{?J}{?b}=\frac{1}{m}\sum _{i=1}^m({\hat{y}}^{(i)}?y^{(i)})$$
2:新的$b$等于當(dāng)前$b?a$倍的損失函數(shù) $J$關(guān)于權(quán)重$b$的偏導(dǎo)數(shù)

$$b=b?\alpha \frac{?J}{?b}$$

這些公式，有興趣的小伙伴可以自行推導(dǎo)一下，方法很簡(jiǎn)單，使用鏈?zhǔn)椒▌t。

為什么要求導(dǎo)呢？為什么求導(dǎo)數(shù)可以反推呢？

別問，用就行。管它意大利的還是東北山里的，能響就好炮。

5.4 前向傳播和后向傳播完整代碼

結(jié)合前向傳播的片段，我們現(xiàn)在可以寫出本章完整的代碼

注意：由于我們還需要將學(xué)習(xí)率參與到運(yùn)算中，所以這個(gè)函數(shù)返回的是dw和db的需要更新多少，并不是真的已經(jīng)更新完的值。

def propagate(w,b,X,Y):#傳入的參數(shù)：# w:權(quán)重向量，維度為[X.shape[0],1]#每一個(gè)元素的值隨機(jī)  參見初始化函數(shù)#w的第一個(gè)維度應(yīng)該等于X.shape[0]，為什么？因?yàn)閣.T也就是[1,X.shape[0]]要X進(jìn)行點(diǎn)乘 參見線性回歸函數(shù)# b：偏差，一個(gè)常數(shù)# X：輸入的矩陣，當(dāng)前為 (12288, 209)# Y：標(biāo)簽矩陣 ，當(dāng)前為（1,209）#返回的參數(shù)#cost:當(dāng)前一輪訓(xùn)練完成后，計(jì)算得到的損失值的平均,單個(gè)的點(diǎn)相較于那條線的成本的總和的平均#dw:后向傳播以后，w需要改變多少#db:后向傳播以后，b需要改變多少m=X.shape[1] #X的第二個(gè)參數(shù)，也就是樣本的總個(gè)數(shù)#前向傳播:也就是執(zhí)行一次邏輯回歸和損失計(jì)算，也就是執(zhí)行那三個(gè)函數(shù)#Z=w.T*X+b  #線性函數(shù)A=sigmoid(np.dot(w.T,X)+b) #sigmoid函數(shù)（將線性函數(shù)集成了）#此時(shí)這里A是一個(gè)矩陣，里面的內(nèi)容是模型的預(yù)測(cè)值#使用向量化以后的組合           cost=(-1/m)*np.sum(Y*np.log(A) + (1-Y)*(np.log(1-A)))#注意，因?yàn)橛?jì)算機(jī)的時(shí)候參與了Y矩陣，所以這個(gè)時(shí)候cost里面有一個(gè)下標(biāo)為1,對(duì)于Y（1,209）來說這個(gè)1是確保Y是一個(gè)矩陣，但是對(duì)于cost，這個(gè)1是無用的，我們需要移除cost=np.squeeze(cost)#反向傳播:（計(jì)算w和b需要改變多少）#為了計(jì)算w和b，我們需要使用梯度下降算法，它的公式是：# w= w - 學(xué)習(xí)率 * 損失函數(shù)對(duì)于w的導(dǎo)數(shù)dz=A-Ydw = (1/m) * np.dot(X,dz.T)db = (1/m) * np.sum(dz)#確保數(shù)據(jù)是否正確assert(dw.shape == w.shape)assert(db.dtype == float)#斷言會(huì)失敗，導(dǎo)致程序拋出一個(gè) AssertionError 異常。assert(cost.shape == ())#創(chuàng)建一個(gè)字典，把dw和db保存起來。grads={"dw":dw,"db":db}return (grads,cost)

六、代碼逐步擬合

現(xiàn)在，我們已經(jīng)有了實(shí)現(xiàn)所有功能的代碼，我們使用一些聚合函數(shù)將它們逐步聚合。

這樣做的好處有很多，最主要的是如果代碼出現(xiàn)問題,我們不用盯著一大塊代碼段查找bug…同時(shí)，作為學(xué)習(xí)者，分塊寫代碼可以方便我們以后查閱和復(fù)習(xí)

6.1 運(yùn)行梯度下降更新w和b

#通過最最小化成本函數(shù)J來學(xué)習(xí)w和b
def optimize (w,b,X,Y,num_itertions,learning_rate,print_cost = False):# 此函數(shù)通過運(yùn)行梯度下降算法來優(yōu)化w和b# 參數(shù)：#     w  - 權(quán)重，大小不等的數(shù)組（num_px * num_px * 3，1）#     b  - 偏差，一個(gè)標(biāo)量#     X  - 維度為（num_px * num_px * 3，訓(xùn)練數(shù)據(jù)的數(shù)量）的數(shù)組。#     Y  - 真正的“標(biāo)簽”矢量（如果非貓則為0，如果是貓則為1），矩陣維度為(1,訓(xùn)練數(shù)據(jù)的數(shù)量)#     num_iterations  - 優(yōu)化循環(huán)的迭代次數(shù)#     learning_rate  - 梯度下降更新規(guī)則的學(xué)習(xí)率,就是那個(gè)阿爾法#     print_cost  - 每100步打印一次損失值# 返回：#     params  - 包含權(quán)重w和偏差b的字典#     grads  - 包含權(quán)重和偏差相對(duì)于成本函數(shù)的梯度的字典#     成本 - 優(yōu)化期間計(jì)算的所有成本列表，將用于繪制學(xué)習(xí)曲線。# 提示：# 我們需要寫下兩個(gè)步驟并遍歷它們：#     1）計(jì)算當(dāng)前參數(shù)的成本和梯度，使用propagate（）。#     2）使用w和b的梯度下降法則更新參數(shù)。costs=[]for i in range (num_itertions):grads, cost =propagate(w,b,X,Y)dw = grads["dw"]db = grads["db"]#公式w = w-learning_rate *dwb = b-learning_rate *db#記錄成本if i %100 ==0:costs.append(cost)#打印成本數(shù)據(jù)if (print_cost) and (i % 100 ==0):print("迭代的次數(shù): %i ， 誤差值： %f" % (i,cost))#創(chuàng)建字典保存w和bparams={"w":w,"b":b}grads={"dw":dw,"db":db}return (params,grads,costs)# print("====================測(cè)試optimize====================")
# #([[1],[2]])一維的數(shù)組，有兩個(gè)元素[1]和[2]
# w,b,X,Y=np.array([[1],[2]]), 2 , np.array([[1,2],[3,4]]), np.array([[1,0]])
# params,grads,costs=optimize(w,b,X,Y,num_itertions=100,learning_rate = 0.009,print_cost = False)
# print ("w = " + str(params["w"]))
# print ("b = " + str(params["b"]))
# print ("dw = " + str(grads["dw"]))
# print ("db = " + str(grads["db"]))

6.2 實(shí)現(xiàn)預(yù)測(cè)函數(shù)（計(jì)算數(shù)據(jù)轉(zhuǎn)化的值）

現(xiàn)在，optimize函數(shù)會(huì)輸出已學(xué)習(xí)的w和b的值，我們可以使用w和b來預(yù)測(cè)數(shù)據(jù)集X的所生成的標(biāo)簽，預(yù)測(cè)標(biāo)簽是0還是1。

我們要實(shí)現(xiàn)預(yù)測(cè)函數(shù)。計(jì)算預(yù)測(cè)有兩個(gè)步驟：

1.計(jì)算 $Y^{=}A=\sigma (w^{T}X+b)$
2.選定sigmoid函數(shù)的閾值，將$a$變?yōu)?（如果激活值<=0.5）或者1（如果激活值>0.5）,$a$ 表示神經(jīng)元的激活值,$A$ 是sigmoid激活函數(shù)$\sigma$ 的輸出矩陣。

def predict(w,b,X):#使用學(xué)習(xí)邏輯回歸參數(shù)logistic（w,b）預(yù)測(cè)標(biāo)簽是0還是1,# 參數(shù)：#     w  - 權(quán)重，大小不等的數(shù)組（num_px * num_px * 3，1）#     b  - 偏差，一個(gè)標(biāo)量#     X  - 維度為（num_px * num_px * 3，訓(xùn)練數(shù)據(jù)的數(shù)量）的數(shù)組。# 返回：#   Y_prediction  - 包含X中所有圖片的所有預(yù)測(cè)【0 | 1】的一個(gè)numpy數(shù)組（向量）m=X.shape[1] #圖片的數(shù)量Y_prediction =np.zeros((1,m)) #創(chuàng)建都是0的矩陣（1行m列）w=w.reshape(X.shape[0],1) #將w轉(zhuǎn)為一個(gè)圖片參數(shù)的累乘，維度為1#預(yù)測(cè)貓?jiān)趫D片中出現(xiàn)的概率A=sigmoid(np.dot(w.T,X)+b)for i in range(A.shape[1]):#將概率a[0,1]轉(zhuǎn)化為實(shí)際預(yù)測(cè)的p[0.i]Y_prediction[0,i] = 1 if A[0,i] >0.5 else 0#使用斷言assert(Y_prediction.shape==(1,m))return Y_prediction    # print("====================測(cè)試predict====================")
# w, b, X, Y = np.array([[1], [2]]), 2, np.array([[1,2], [3,4]]), np.array([[1, 0]])
# print("predictions = " + str(predict(w, b, X)))

6.3 模型調(diào)用函數(shù)

就目前而言，我們基本上把所有的東西都做完了，現(xiàn)在我們要把這些函數(shù)統(tǒng)統(tǒng)整合到一個(gè)model()函數(shù)中，屆時(shí)只需要調(diào)用一個(gè)model()就基本上完成所有的事了。

def model(X_train , Y_train , X_test , Y_test , num_iterations = 2000 , learning_rate = 0.5 , print_cost = False):w , b = initialize_zeros(X_train.shape[0])parameters , grads , costs = optimize(w , b , X_train , Y_train,num_iterations , learning_rate , print_cost)#從字典“參數(shù)”中檢索參數(shù)w和bw , b = parameters["w"] , parameters["b"]#預(yù)測(cè)測(cè)試/訓(xùn)練集的例子Y_prediction_test = predict(w , b, X_test)Y_prediction_train = predict(w , b, X_train)#打印訓(xùn)練后的準(zhǔn)確性print("訓(xùn)練集準(zhǔn)確性："  , format(100 - np.mean(np.abs(Y_prediction_train - Y_train)) * 100) ,"%")print("測(cè)試集準(zhǔn)確性："  , format(100 - np.mean(np.abs(Y_prediction_test - Y_test)) * 100) ,"%")d = {"costs" : costs,"Y_prediction_test" : Y_prediction_test,"Y_prediciton_train" : Y_prediction_train,"w" : w,"b" : b,"learning_rate" : learning_rate,"num_iterations" : num_iterations }return d
# print("====================測(cè)試model====================")     
# #這里加載的是真實(shí)的數(shù)據(jù)，請(qǐng)參見上面的代碼部分。
# d = model(train_set_x, train_set_y_orig, test_set_x, test_set_y_orig, num_iterations = 2000, learning_rate = 0.005, print_cost = True)
# #繪制圖
# costs = np.squeeze(d['costs'])
# plt.plot(costs)
# plt.ylabel('cost')
# plt.xlabel('iterations (per hundreds)')
# plt.title("Learning rate =" + str(d["learning_rate"]))
# plt.show()

6.4 完整代碼和測(cè)試

以下是完整代碼：

#所謂模型：就是一個(gè)（組）參數(shù)適合的公式
#所謂學(xué)習(xí)：就是找那個(gè)合適的參數(shù)！#導(dǎo)入序列化必要函數(shù)
import numpy as np#導(dǎo)入生成圖片要的包
import matplotlib.pyplot as plt
# 是在 Python 中導(dǎo)入 matplotlib 庫(kù)的 pyplot 模塊并為其指定一個(gè)簡(jiǎn)稱 plt 的語(yǔ)句。matplotlib 是一個(gè)非常流行的 Python 數(shù)據(jù)可視化庫(kù)，它提供了一套全面的繪圖工具來制作各種靜態(tài)、動(dòng)態(tài)或交互式的圖形。
# pyplot 是 matplotlib 的一個(gè)子模塊，通常被認(rèn)為是該庫(kù)的核心。它提供了一個(gè)類似于 MATLAB 的繪圖界面，使得創(chuàng)建圖形變得非常簡(jiǎn)單。#導(dǎo)入針對(duì)數(shù)據(jù)格式的包
import h5py
# import h5py 是 Python 中引入 h5py 庫(kù)的命令。
# h5py 是一個(gè) Python 庫(kù)，它提供了一種高效的方式來讀取和寫入 HDF5 格式的文件。
# HDF5（Hierarchical Data Format version 5）是一個(gè)流行的數(shù)據(jù)存儲(chǔ)格式，常用于大型數(shù)據(jù)集，如科學(xué)計(jì)算或深度學(xué)習(xí)中的訓(xùn)練數(shù)據(jù)。
# HDF5 文件可以包含大量的數(shù)據(jù)集并支持高效的并行IO操作，它提供了一種結(jié)構(gòu)化的方式來存儲(chǔ)數(shù)據(jù)，其中數(shù)據(jù)可以被組織為不同的組和數(shù)據(jù)集。#從lr_utils文件（或者稱為模塊，每一個(gè)py文件就是一個(gè)模塊）導(dǎo)入函數(shù)
from lr_utils import load_dataset#load_dataset函數(shù)是對(duì)訓(xùn)練集合和測(cè)試集合的預(yù)處理，并且已經(jīng)封裝好了，提取就可以
train_set_x_orig,train_set_y_orig,test_set_x_roig,test_set_y_orig,classes=load_dataset()#classes是一個(gè)字段，就是將 0 表示非貓（"non-cat"）圖片，1 表示貓（"cat"）文字說明#查看一下兩個(gè)數(shù)據(jù)集有多少數(shù)據(jù)，幾個(gè)維度
"""
print(train_set_x_orig.shape) #(209, 64, 64, 3) 訓(xùn)練集：209行的后面那三個(gè)維度的矩陣
print(train_set_y_orig.shape) #(1, 209) 訓(xùn)練集標(biāo)簽：1行的209個(gè)數(shù)據(jù) 訓(xùn)練數(shù)據(jù)集是由209個(gè) 64*64的3色域圖片組成print(test_set_x_roig.shape) #(50, 64, 64, 3) 測(cè)試集50行的后面那三個(gè)維度的矩陣
print(test_set_y_orig.shape) #(1, 50) 測(cè)試集標(biāo)簽：1行的50個(gè)數(shù)據(jù)
"""#降低維度，改變數(shù)組的位置（轉(zhuǎn)置）
#匹配標(biāo)簽數(shù)據(jù)集和訓(xùn)練數(shù)據(jù)集的維度，將高維度的轉(zhuǎn)化為低緯度
#轉(zhuǎn)置是為了方便計(jì)算，把209放到后面，和標(biāo)簽一樣
#公式：將A（a,b,c,d）轉(zhuǎn)化為A（b*c*d,a）#X=X.reshape(X.shape[0],-1).T#X=X.reshape()  重塑數(shù)組的維度#(A,B)二維數(shù)組#X.shape[0] 第一個(gè)維度不變#-1在reshape方法中有一個(gè)特殊的意義。它表示該維度的大小應(yīng)當(dāng)被自動(dòng)推斷，以保證總元素?cái)?shù)不變。#為了計(jì)算-1應(yīng)該被替代的值，numpy會(huì)使用以下方法：#總元素?cái)?shù) / 已知的其他維度的大小 = 未知維度的大小#在A（m,n,o）中，原始數(shù)組的總元素?cái)?shù)是m * n * o。已知的其他維度的大小是m。所以，-1會(huì)被計(jì)算為(m * n * o) / m = n * o。#因此，形狀為(m, n, o)的三維數(shù)組會(huì)被重新形狀為(m, n*o)的二維數(shù)組。#.T 二維數(shù)組前后交換
# #測(cè)試
# a=np.random.rand(5,2,3)#創(chuàng)建[5,2,3]維度的數(shù)組，用隨機(jī)數(shù)填滿
# print(a.shape) #(5, 2, 3)
# print((a.reshape(a.shape[0],-1).T).shape) #[6,5]#print(train_set_x_orig.shape) #(209, 64, 64, 3)
train_set_x_flatten=train_set_x_orig.reshape(train_set_x_orig.shape[0],-1).T #(12288, 209)
# print(train_set_x_flatten.shape)# print(test_set_x_roig.shape)#(50, 64, 64, 3)
test_set_x_flatten=test_set_x_roig.reshape(test_set_x_roig.shape[0],-1).T #(12288, 50)
# print(test_set_x_flatten.shape)#將數(shù)據(jù)集中化和標(biāo)準(zhǔn)化，因?yàn)槎际菆D片數(shù)據(jù)，所以可以除以255,將每個(gè)數(shù)據(jù)控制到[0,1]之間
train_set_x=train_set_x_flatten/255
# print(train_set_x.shape)#數(shù)據(jù)的維度還是沒變(12288, 209)
test_set_x=test_set_x_flatten/255#數(shù)據(jù)處理的部分完成了，接下來就是構(gòu)建神經(jīng)網(wǎng)絡(luò)#我們要處理的是二分類問題，而“邏輯回歸”是處理二分問題的一個(gè)算法#邏輯回歸，實(shí)際上是找到一個(gè)決策邊界，然后根據(jù)樣本點(diǎn)相對(duì)于這個(gè)邊界的位置來分類，對(duì)于線性邏輯回歸，這個(gè)決策邊界是一條直線（在二維空間中）或一個(gè)超平面（在更高的維度中），這取決于特征的數(shù)量。#邏輯回歸函數(shù)=線性回歸函數(shù)+sigmoid函數(shù)，所以我們需要兩個(gè)函數(shù)#1.線性回歸函數(shù)：Z = z^(i) = w.T ? x^(i)+b# x^(i)：第i個(gè)樣本的特征向量# w:權(quán)重向量，表示當(dāng)前x^(i)的權(quán)重比（權(quán)重用于決定決策邊界怎么畫）# w.T是w的轉(zhuǎn)置，我們?yōu)榱擞?jì)算w與x的“點(diǎn)乘”，要求w的行向量 == x的列向量# 如果你的 w 向量本來就是一個(gè)行向量，并且它的長(zhǎng)度（列數(shù)）與 x 向量的長(zhǎng)度（行數(shù)）相同，不需要再進(jìn)行轉(zhuǎn)置，但是，權(quán)重向量和特征向量通常都被定義為列向量，這是一種約束。#b: 這是偏置項(xiàng)，它是一個(gè)常數(shù)#z^(i):第i個(gè)樣本的線性輸出。輸入一個(gè)x^(i)，在當(dāng)前函數(shù)中，得到一個(gè)z（i）#2.sigmoid函數(shù):a=1/1+e^(-Z) //其中的Z是線性回歸函數(shù)#是一種激活函數(shù)#輸出范圍：[0,1]#擬合，實(shí)際上是指盡量減少誤分類的數(shù)量，總有一些點(diǎn)無法分類，而我們需要找到可以盡可能的滿足多點(diǎn)的決策邊界，所以我們需要是最小化邏輯回歸的損失函數(shù)（通常是對(duì)數(shù)損失函數(shù)或交叉熵?fù)p失函數(shù)）#所以我們還需要一個(gè)損失函數(shù)參數(shù):#L（a^(i),y^(i) = -y^(i)*log(a^(i)) - (1-y^(i))*log(1-a^(i))#最后，我們需要一個(gè)對(duì)于所有數(shù)據(jù)的損失求和的函數(shù)：假設(shè)所有數(shù)據(jù)一共有m個(gè)# J=1/m * m∑（i=1）* L（a^(i),y^(i)）#構(gòu)建sigmoid函數(shù)
def sigmoid(z):a=1/(1+np.exp(-z))return a#初始化函數(shù)
#主要用于構(gòu)建w和b，之前看到的方法是創(chuàng)建一個(gè)（dim，1）維度的0向量# w=np.zeros(shape=(dim,1))#但是這樣也許會(huì)導(dǎo)致一個(gè)“對(duì)稱性”問題#當(dāng)你這樣初始化權(quán)重并使用它們?cè)谏窠?jīng)網(wǎng)絡(luò)中時(shí)，每一層的所有神經(jīng)元都會(huì)有相同的輸出。#因此，當(dāng)你進(jìn)行反向傳播時(shí)，所有神經(jīng)元都會(huì)收到相同的梯度。這將導(dǎo)致所有的權(quán)重都更新為相同的值。無論網(wǎng)絡(luò)有多少神經(jīng)元，它們都會(huì)表現(xiàn)得像一個(gè)神經(jīng)元，這極大地限制了網(wǎng)絡(luò)的容量和表達(dá)能力。def initialize_zeros(dim):#dim:傳入的數(shù)據(jù)集的第一個(gè)向量坐標(biāo)，X.shape[0]#w=np.zeros(shape=(dim,1))w=0.01*np.random.rand(dim,1)#乘以0.01是為了確保初始化的權(quán)重值很小。b=0#使用斷言來檢測(cè)是正確assert(w.shape==(dim,1))assert(isinstance(b,float) or isinstance(b,int))return (w,b)#構(gòu)建邏輯回歸的前向傳播和后向傳播#神經(jīng)網(wǎng)絡(luò)或者深度學(xué)習(xí)模型單次的訓(xùn)練過程有四個(gè)階段：#1.前向傳播：給當(dāng)前數(shù)據(jù)x^(i)，根據(jù)算法（當(dāng)前我們用的是sigmoid函數(shù)）輸出一個(gè)結(jié)果[sigmoid的范圍是[0,1]]#2.計(jì)算機(jī)損失：得到前向傳播的數(shù)據(jù)（預(yù)測(cè)）以后，我們會(huì)評(píng)估“預(yù)測(cè)與我們給定的標(biāo)簽y^(i)”之間的差異。這個(gè)差異（通常稱為“損失”或“誤差”）#3.后向傳播：基于前面計(jì)算的損失，模型會(huì)計(jì)算每個(gè)參數(shù)的梯度，以知道如何更好地更新參數(shù)來提高預(yù)測(cè)。這個(gè)步驟就是告訴模型：“為了減少預(yù)測(cè)誤差，你應(yīng)該這樣調(diào)整你的參數(shù)w和b?！?/span>#4.更新參數(shù): 在知道了如何更新參數(shù)之后，實(shí)際更新參數(shù)。#構(gòu)建實(shí)現(xiàn)上述功能的函數(shù)（漸變函數(shù)）
def propagate(w,b,X,Y):#傳入的參數(shù)：# w:權(quán)重向量，維度為[X.shape[0],1]#每一個(gè)元素的值隨機(jī)  參見初始化函數(shù)#w的第一個(gè)維度應(yīng)該等于X.shape[0]，為什么？因?yàn)閣.T也就是[1,X.shape[0]]要X進(jìn)行點(diǎn)乘 參見線性回歸函數(shù)# b：偏差，一個(gè)常數(shù)# X：輸入的矩陣，當(dāng)前為 (12288, 209)# Y：標(biāo)簽矩陣 ，當(dāng)前為（1,209）#返回的參數(shù)#cost:當(dāng)前一輪訓(xùn)練完成后，計(jì)算得到的損失值的平均,單個(gè)的點(diǎn)相較于那條線的成本的總和的平均#dw:后向傳播以后，w需要改變多少#db:后向傳播以后，b需要改變多少m=X.shape[1] #X的第二個(gè)參數(shù)，也就是樣本的總個(gè)數(shù)#前向傳播:也就是執(zhí)行一次邏輯回歸和損失計(jì)算，也就是執(zhí)行那三個(gè)函數(shù)#Z=w.T*X+b  #線性函數(shù)A=sigmoid(np.dot(w.T,X)+b) #sigmoid函數(shù)（將線性函數(shù)集成了）#此時(shí)這里A是一個(gè)矩陣，里面的內(nèi)容是模型的預(yù)測(cè)值#使用向量化以后的組合           cost=(-1/m)*np.sum(Y*np.log(A) + (1-Y)*(np.log(1-A)))#注意，因?yàn)橛?jì)算機(jī)的時(shí)候參與了Y矩陣，所以這個(gè)時(shí)候cost里面有一個(gè)下標(biāo)為1,對(duì)于Y（1,209）來說這個(gè)1是確保Y是一個(gè)矩陣，但是對(duì)于cost，這個(gè)1是無用的，我們需要移除cost=np.squeeze(cost)#反向傳播:（計(jì)算w和b需要改變多少）#為了計(jì)算w和b，我們需要使用梯度下降算法，它的公式是：# w= w - 學(xué)習(xí)率 * 損失函數(shù)對(duì)于w的導(dǎo)數(shù)dz=A-Ydw = (1/m) * np.dot(X,dz.T)db = (1/m) * np.sum(dz)#確保數(shù)據(jù)是否正確assert(dw.shape == w.shape)assert(db.dtype == float)#斷言會(huì)失敗，導(dǎo)致程序拋出一個(gè) AssertionError 異常。assert(cost.shape == ())#創(chuàng)建一個(gè)字典，把dw和db保存起來。grads={"dw":dw,"db":db}return (grads,cost)#通過最最小化成本函數(shù)J來學(xué)習(xí)w和b
def optimize (w,b,X,Y,num_itertions,learning_rate,print_cost = False):# 此函數(shù)通過運(yùn)行梯度下降算法來優(yōu)化w和b# 參數(shù)：#     w  - 權(quán)重，大小不等的數(shù)組（num_px * num_px * 3，1）#     b  - 偏差，一個(gè)標(biāo)量#     X  - 維度為（num_px * num_px * 3，訓(xùn)練數(shù)據(jù)的數(shù)量）的數(shù)組。#     Y  - 真正的“標(biāo)簽”矢量（如果非貓則為0，如果是貓則為1），矩陣維度為(1,訓(xùn)練數(shù)據(jù)的數(shù)量)#     num_iterations  - 優(yōu)化循環(huán)的迭代次數(shù)#     learning_rate  - 梯度下降更新規(guī)則的學(xué)習(xí)率,就是那個(gè)阿爾法#     print_cost  - 每100步打印一次損失值# 返回：#     params  - 包含權(quán)重w和偏差b的字典#     grads  - 包含權(quán)重和偏差相對(duì)于成本函數(shù)的梯度的字典#     成本 - 優(yōu)化期間計(jì)算的所有成本列表，將用于繪制學(xué)習(xí)曲線。# 提示：# 我們需要寫下兩個(gè)步驟并遍歷它們：#     1）計(jì)算當(dāng)前參數(shù)的成本和梯度，使用propagate（）。#     2）使用w和b的梯度下降法則更新參數(shù)。costs=[]for i in range (num_itertions):grads, cost =propagate(w,b,X,Y)dw = grads["dw"]db = grads["db"]#公式w = w-learning_rate *dwb = b-learning_rate *db#記錄成本if i %100 ==0:costs.append(cost)#打印成本數(shù)據(jù)if (print_cost) and (i % 100 ==0):print("迭代的次數(shù): %i ， 誤差值： %f" % (i,cost))#創(chuàng)建字典保存w和bparams={"w":w,"b":b}grads={"dw":dw,"db":db}return (params,grads,costs)# print("====================測(cè)試optimize====================")
# #([[1],[2]])一維的數(shù)組，有兩個(gè)元素[1]和[2]
# w,b,X,Y=np.array([[1],[2]]), 2 , np.array([[1,2],[3,4]]), np.array([[1,0]])
# params,grads,costs=optimize(w,b,X,Y,num_itertions=100,learning_rate = 0.009,print_cost = False)
# print ("w = " + str(params["w"]))
# print ("b = " + str(params["b"]))
# print ("dw = " + str(grads["dw"]))
# print ("db = " + str(grads["db"]))def predict(w,b,X):#使用學(xué)習(xí)邏輯回歸參數(shù)logistic（w,b）預(yù)測(cè)標(biāo)簽是0還是1,# 參數(shù)：#     w  - 權(quán)重，大小不等的數(shù)組（num_px * num_px * 3，1）#     b  - 偏差，一個(gè)標(biāo)量#     X  - 維度為（num_px * num_px * 3，訓(xùn)練數(shù)據(jù)的數(shù)量）的數(shù)組。# 返回：#   Y_prediction  - 包含X中所有圖片的所有預(yù)測(cè)【0 | 1】的一個(gè)numpy數(shù)組（向量）m=X.shape[1] #圖片的數(shù)量Y_prediction =np.zeros((1,m)) #創(chuàng)建都是0的矩陣（1行m列）w=w.reshape(X.shape[0],1) #將w轉(zhuǎn)為一個(gè)圖片參數(shù)的累乘，維度為1#預(yù)測(cè)貓?jiān)趫D片中出現(xiàn)的概率A=sigmoid(np.dot(w.T,X)+b)for i in range(A.shape[1]):#將概率a[0,1]轉(zhuǎn)化為實(shí)際預(yù)測(cè)的p[0.i]Y_prediction[0,i] = 1 if A[0,i] >0.5 else 0#使用斷言assert(Y_prediction.shape==(1,m))return Y_prediction    # def model(X_train,Y_train,X_test,Y_test, num_iterations=2000,learning_rate =0.005, print_cost=False):#     #參數(shù)：
#        # X_train   -numpy的數(shù)組，維度為（num_px*num_px*3,m_train）的訓(xùn)練集 
#        # Y_train   -numpy的數(shù)組，維度為（1,m_train）(標(biāo)簽)（矢量）的訓(xùn)練集合#        # X_test   -numpy的數(shù)組，維度為（num_px*num_px*3,m_test）的測(cè)試集 
#        # Y_test   -numpy的數(shù)組，維度為（1,m_test）(標(biāo)簽)（矢量）的測(cè)試集合#        # num_iterations - 用于優(yōu)化參數(shù)的迭代次數(shù)
#        # learning_rate --學(xué)習(xí)率
#        # print_cost  - 設(shè)置為true以每100次迭代打印成本#     #返回
#        #d -包含模型信息的字典#     w,b=initialize_zeros(X_train.shape[0])   #初始化w和b,根據(jù)訓(xùn)練集合的第一個(gè)參數(shù)（那一堆東西）#     parameters,grads,costs=optimize(w,b,X_train,Y_train,num_iterations,learning_rate,print_cost)#     #從字典“參數(shù)”中檢索參數(shù)w和b
#     w,b = parameters["w"],parameters["b"]#     #預(yù)測(cè)測(cè)試/訓(xùn)練集的例子#     Y_prediction_test =predict(w,b,X_test)
#     Y_prediction_train=predict(w,b,X_train)#     #打印
#     #用于計(jì)算數(shù)據(jù)的平均值：np.mean()
#     print("訓(xùn)練集的準(zhǔn)確度：",format(100-np.mean(np.abs(Y_prediction_train-Y_train))*100),"%")
#     print("測(cè)試集的準(zhǔn)確度：",format(100-np.mean(np.abs(Y_prediction_test-Y_test))*100),"%")#     d = {
#             "costs" : costs,
#             "Y_prediction_test" : Y_prediction_test,
#             "Y_prediciton_train" : Y_prediction_train,
#             "w" : w,
#             "b" : b,
#             "learning_rate" : learning_rate,
#             "num_iterations" : num_iterations }
#     return d# print("====================測(cè)試model====================")    # d1=model(train_set_x,train_set_y_orig,test_set_x,test_set_y_orig,num_iterations =2000,learning_rate =0.01,print_cost=True)
# d2=model(train_set_x,train_set_y_orig,test_set_x,test_set_y_orig,num_iterations =2000,learning_rate =0.001,print_cost=True)
# d3=model(train_set_x,train_set_y_orig,test_set_x,test_set_y_orig,num_iterations =2000,learning_rate =0.0001,print_cost=True)# #繪圖
# costs1=np.squeeze(d1['costs'])
# plt.plot(costs1)
# costs2=np.squeeze(d2['costs'])
# plt.plot(costs2)
# costs3=np.squeeze(d3['costs'])
# plt.plot(costs3)# plt.ylabel('cost')
# plt.xlabel(('iterations (per hundreds)'))
# plt.title("Learning rate =" + str(d1["learning_rate"])+str(d2["learning_rate"])+str(d3["learning_rate"]))
# plt.show()def model(X_train , Y_train , X_test , Y_test , num_iterations = 2000 , learning_rate = 0.5 , print_cost = False):w , b = initialize_zeros(X_train.shape[0])parameters , grads , costs = optimize(w , b , X_train , Y_train,num_iterations , learning_rate , print_cost)#從字典“參數(shù)”中檢索參數(shù)w和bw , b = parameters["w"] , parameters["b"]#預(yù)測(cè)測(cè)試/訓(xùn)練集的例子Y_prediction_test = predict(w , b, X_test)Y_prediction_train = predict(w , b, X_train)#打印訓(xùn)練后的準(zhǔn)確性print("訓(xùn)練集準(zhǔn)確性："  , format(100 - np.mean(np.abs(Y_prediction_train - Y_train)) * 100) ,"%")print("測(cè)試集準(zhǔn)確性："  , format(100 - np.mean(np.abs(Y_prediction_test - Y_test)) * 100) ,"%")d = {"costs" : costs,"Y_prediction_test" : Y_prediction_test,"Y_prediciton_train" : Y_prediction_train,"w" : w,"b" : b,"learning_rate" : learning_rate,"num_iterations" : num_iterations }return dprint("====================測(cè)試model====================")     
#這里加載的是真實(shí)的數(shù)據(jù)，請(qǐng)參見上面的代碼部分。
d = model(train_set_x, train_set_y_orig, test_set_x, test_set_y_orig, num_iterations = 2000, learning_rate = 0.005, print_cost = True)
#繪制圖
costs = np.squeeze(d['costs'])
plt.plot(costs)
plt.ylabel('cost')
plt.xlabel('iterations (per hundreds)')
plt.title("Learning rate =" + str(d["learning_rate"]))
plt.show()

最后，我們得到了這樣的結(jié)果和圖片

6.5 再玩一下？好的！

讓我們最后修改一下學(xué)習(xí)率，看看會(huì)有什么樣的變化

如果你也想玩，替換最后的打印語(yǔ)句即可:

print("====================測(cè)試model====================")    d1=model(train_set_x,train_set_y_orig,test_set_x,test_set_y_orig,num_iterations =2000,learning_rate =0.01,print_cost=True)
d2=model(train_set_x,train_set_y_orig,test_set_x,test_set_y_orig,num_iterations =2000,learning_rate =0.001,print_cost=True)
d3=model(train_set_x,train_set_y_orig,test_set_x,test_set_y_orig,num_iterations =2000,learning_rate =0.0001,print_cost=True)#繪圖
costs1=np.squeeze(d1['costs'])
plt.plot(costs1)
costs2=np.squeeze(d2['costs'])
plt.plot(costs2)
costs3=np.squeeze(d3['costs'])
plt.plot(costs3)plt.ylabel('cost')
plt.xlabel(('iterations (per hundreds)'))
plt.title("Learning rate1 =" + str(d1["learning_rate"])+'\n'+"Learning rate2 =" + str(d2["learning_rate"])+'\n'+"Learning rate2 =" + str(d2["learning_rate"]))
plt.show()

得到的結(jié)果是這樣滴！

為什么呢？
學(xué)習(xí)率會(huì)有影響
我知道，為什么會(huì)這樣呢？
你猜？

寫在后面的話

這應(yīng)該是我注冊(cè)CSDN以來寫的最暢快的一片博客。

對(duì)于標(biāo)題：《打開深度學(xué)習(xí)的鎖》，其實(shí)有很多自負(fù)，我甚至連那扇門都沒有看到…但我依然感覺的到，我解開了一些東西，這種感覺很舒服，也很自豪。

好似小學(xué)課堂上，我第一次解開方程組，老師獎(jiǎng)勵(lì)的那塊糖。那顆糖打開了我喜歡數(shù)學(xué)的門，而這道題，打開我對(duì)于深度學(xué)習(xí)的那把鎖，以此，暢快！。

很久沒有寫博客了。為什么不寫呢？原因很多：沒時(shí)間、沒心氣、沒東西.

寫博客曾經(jīng)是我學(xué)習(xí)的一種的方式，本人比較笨，也比較懶，對(duì)于一個(gè)知識(shí)點(diǎn)，往往需要很長(zhǎng)的周期才可以掌握。但我依然希望沉淀一點(diǎn)東西，然后寫下來。保留這份難得沉下心，這個(gè)為了一個(gè)目標(biāo)的渴望與完成時(shí)的激動(dòng)。

在未來的某個(gè)時(shí)段，作為引子，以供以后的自己檢索回憶。

也可看自己是增是減。

我曾經(jīng)寫過很多沒用的東西，但就是這些東西記錄了當(dāng)年那個(gè)小小的自己，自顧自的向前走，時(shí)不時(shí)跌到、頹廢、崩潰、抑郁、焦慮、然后起身、振作、自我調(diào)節(jié)、繼續(xù)行走。如今回到看，那個(gè)少年也走出了一條窄窄的路。

那個(gè)孩子，仍然在以自己的方式——迎接自己渴望的歡呼，承受自己唾棄的鄙夷，走下去。

郝佳順
2023年9月9日
于韓國(guó)慶北大學(xué)