學(xué)習(xí)日志

10.12

一天學(xué)不了一分鐘，不知道為什么也就是了
今天一定要學(xué)一個小時！

機器學(xué)習(xí)就是機器幫我們找一個函數(shù)
語音辨識，語音，聲音訊號 轉(zhuǎn)化為文字
幫我們找一個人類寫不出來的復(fù)雜函數(shù)
類神經(jīng)網(wǎng)絡(luò)
輸入
一張圖片用一個矩陣來表示
輸入是一個序列
各式各樣的輸出
輸出是一個數(shù)值的任務(wù)，叫regression
輸出是一個類別，機器選擇其中的類別，叫分類classification
機器寫一段文字，制圖，動漫人臉的生成
怎么用類神經(jīng)網(wǎng)絡(luò)制造函數(shù)，來制造各式各樣的輸入輸出

https://www.kaggle.com/
機器學(xué)習(xí)兩大類任務(wù)
regression
classification
不僅如此，還有 structured learning
機器產(chǎn)生一個有結(jié)構(gòu)的物件，機器創(chuàng)造一件事情

model就是帶有未知參數(shù)的function
loss是函數(shù)，輸出為model中的未知參數(shù)
輸出，假設(shè)未知參數(shù)為某個值的時候，結(jié)果是好還是不好
比對函數(shù)預(yù)估的結(jié)果和真實值的差距，取絕對值
label就是正確的數(shù)值
訓(xùn)練資料，已知的準(zhǔn)確的數(shù)據(jù)
每一天的誤差都可以得出，最后L代表loss，L越小，代表參數(shù)越好

計算估測值和真實值之間差距的方法
MAE
error surface ，2D差值の等高線圖

1. Function with Unknown Parameters
2. Define Loss from Training Data
3. Optimization

gradient decent 這個方法
微分值（斜率 ^ _ ^ ）
先看正負(fù)，決定未知參數(shù)往大了取還是往小了取，才能使得loss更小
再看絕對值大小，決定位置參數(shù)改變的跨度
跨度的決定因素
1、斜率，斜率大跨度大，
2、learning rate 自己設(shè)定，更大，參數(shù)的update量大，學(xué)習(xí)得更快
機器學(xué)習(xí)中由自己設(shè)定的東西，hyperparameter

loss的function由自己設(shè)定，可以是負(fù)值

未知參數(shù)更新結(jié)束，有兩種狀況，一、自己決定的更新次數(shù)上限，二、調(diào)整參數(shù)剛好得到loss為0

gradient decent 這個方法，會出現(xiàn)local minimal ，我們最好的是global minimal
local minimal是假問題，不是訓(xùn)練network時真正的難題，真正的難題是什么呢？？

發(fā)現(xiàn)，YouTube觀看人數(shù)每七天是一個循環(huán)
對模型的修改通常來自于你對這個問題的理解，也就是domain knowledge

feature * weight +bias ===> linear models

10.13

很好，今天美學(xué)一分鐘
好像很忙，一直沒停，但不知道到底干了些什么正事

玩手機：你要心酸中謹(jǐn)記當(dāng)走到最尾，哪處風(fēng)景最優(yōu)美
奢華悠閑早餐、社?？?、午睡、洗頭、開會、交表、和英語表達殊死抗?fàn)幍綉岩勺晕?/p>