一、目的

假設(shè)我們現(xiàn)在需要對貓、 狗、 人這三個(gè)類別進(jìn)行分類。

若以 0 代表貓， 以 1 代表狗， 以 2 代表人，會(huì)發(fā)現(xiàn)那么貓和狗之間距離為 1， 狗和人之間距離為 1， 而貓和人之間距離為 2。
假設(shè)真實(shí)標(biāo)簽是貓（0），預(yù)測標(biāo)簽是人（2），loss值會(huì)比真實(shí)標(biāo)簽是狗（1）、預(yù)測標(biāo)簽是人（2）時(shí)的loss值大，這在參與損失計(jì)算的時(shí)候是完全不能接受的： 互相獨(dú)立的標(biāo)簽之間， 在預(yù)測錯(cuò)誤時(shí)竟然出現(xiàn)了 loss 不對等的情況。

因此， 需要有一種表示方法， 將互相獨(dú)立的標(biāo)簽表示為互相獨(dú)立的數(shù)字， 并且數(shù)字之間的距離也相等。此時(shí)就出現(xiàn)one-hot方法

二、用法

one-hot （獨(dú)熱編碼）是一種向量表示，用來表示真實(shí)標(biāo)簽分布情況。向量中只有一個(gè)元素的值是 1， 其他所有元素都是 0。 也可以用相反的表示方式， 即向量中只有一個(gè)元素是 0， 其他所有元素都是 1。
下面是 one-hot 對類別進(jìn)行編碼的例子：

神經(jīng)網(wǎng)絡(luò)輸出的值是樣本屬于某一分類的概率， 比如當(dāng)前的例子， 某一個(gè)樣本經(jīng)過神經(jīng)網(wǎng)絡(luò)推理得到的輸出值為有 70%的概率是貓， 20%的概率是狗， 10%的概率是人， 寫成向量形式為[0.7 0.2 0.1]， 假設(shè)該樣本的真實(shí)標(biāo)簽就是貓， 貓的 one-hot 向量為[1 0 0]，接下來就可以計(jì)算預(yù)測值與真實(shí)標(biāo)簽的損失。 假設(shè)使用均方誤差作為損失函數(shù)，那么損失值為：

優(yōu)化目標(biāo)是讓 loss 的值最小。 貓的得分是 0.7， 而真實(shí)得分是 1， 因此貓的得分概率還需要增大， 狗和人的得分概率需要減小， 計(jì)算完 loss 值后， 反向傳播調(diào)整權(quán)重， 使貓的得分繼續(xù)增大， 而狗和人的得分繼續(xù)減小。

?