目錄：

1. ? ?簡(jiǎn)介
2. ? ?損失函數(shù)
3. ? ?自動(dòng)編碼器的類(lèi)型

---

一? AutoEncoder 簡(jiǎn)介：

? ?? ?自動(dòng)編碼器是一種神經(jīng)網(wǎng)絡(luò)，用于無(wú)監(jiān)督學(xué)習(xí)任務(wù).(沒(méi)有標(biāo)簽或標(biāo)記數(shù)據(jù)),
例如降維,特征提取和數(shù)據(jù)壓縮.
? ?主要任務(wù)：
? ? ? ? ? 1： 輸入數(shù)據(jù)
? ? ? ? ? 2： 輸入數(shù)據(jù)壓縮為 低維空間（也可以高維空間，很少用）
? ? ? ? ? 3： 低維空間 重構(gòu) 輸入數(shù)據(jù)

? 主要組件：

? ? ? ? 編碼器（Encoder）：
? ? ? ? 編碼器將輸入數(shù)據(jù)壓縮為稱(chēng)為潛在空間或低維空間表示形式。這種潛在空間通常稱(chēng)為嵌入（Embedding),旨在保留盡可能多的信息。

? ? ? ? ?如果我們將輸入數(shù)據(jù)表示為x ，將編碼器表示為 E，則輸出低維空間s表示為s=E(x) 。

? ? ? ??解碼器（Decoder）：

? ? ? ?解碼器通過(guò)接受低維空間表示s來(lái)重建原始輸入數(shù)據(jù)。如果我們將解碼器函數(shù)表示為D ，將檢測(cè)器的輸出表示為o ，那么我們可以將解碼器表示為 o=D(s)

? ? ? ?如下圖： 中間的code 為低維空間

降維后的數(shù)據(jù)我們可以通過(guò)TensorBoard Projector 查看其相關(guān)性

我們也可以通過(guò)https://projector.tensorflow.org/ 在線工具查看。

---

二? ?損失函數(shù)

? 標(biāo)簽集用的是自身。

? 根據(jù)其數(shù)據(jù)特征常用交叉熵或者均方差作為損失函數(shù).

---

三??自動(dòng)編碼器的類(lèi)型

? ? ? 3.1?普通自動(dòng)編碼器

? ? ? ?由編碼器和解碼器的一個(gè)或多個(gè)全連接層組成。

? ? ? ? 它適用于簡(jiǎn)單數(shù)據(jù)，可能難以處理復(fù)雜模式。

3.2?卷積自動(dòng)編碼器（CAE：Convolutional Autoencoder）

? ? ? ? ? ?在編碼器和解碼器中利用卷積層，使其適用于處理圖像數(shù)據(jù)。通過(guò)利用圖像中的空間信息，CAE可以比普通自動(dòng)編碼器更有效地捕獲復(fù)雜的模式和結(jié)構(gòu)，并完成圖像分割等任務(wù)。

3.3??降噪自動(dòng)編碼器（Denoising Autoencoder）

? ? ? ? De-noising Auto-encoder

? ? ? ? ? ?該自動(dòng)編碼器旨在消除損壞的輸入數(shù)據(jù)中的噪聲，如圖6所示。在訓(xùn)練期間，輸入數(shù)據(jù)通過(guò)添加噪聲故意損壞，而目標(biāo)仍然是原始的、未損壞的數(shù)據(jù)。自動(dòng)編碼器學(xué)習(xí)從噪聲輸入中重建干凈的數(shù)據(jù)，使其可用于圖像去噪和數(shù)據(jù)預(yù)處理任務(wù)。

?應(yīng)用2：

• De-noising Auto-encoder是 Auto-encoder的常見(jiàn)變型之一。給原來(lái)要輸入進(jìn)去的圖片加入噪聲后，試圖還原原來(lái)的圖片(加入噪聲前的)
• 設(shè)計(jì)DAE的初衷就是在自動(dòng)編碼器的基礎(chǔ)之上，為了防止過(guò)擬合問(wèn)題而對(duì)輸入層的輸入數(shù)據(jù)加入噪音，使學(xué)習(xí)得到的編碼器具有魯棒性，是Bengio在08年論文《Extracting and composing robust features with denoising autoencoders》提出的。
• 

3.4?稀疏自動(dòng)編碼器（Sparse Autoencoder）

? ? ? Dropout 權(quán)重系數(shù)部分參數(shù)為0

? ? ? 這種類(lèi)型的自動(dòng)編碼器通過(guò)向損失函數(shù)添加稀疏性約束來(lái)強(qiáng)制潛在空間表示的稀疏性（如圖 7 所示）。此約束鼓勵(lì)自動(dòng)編碼器使用潛在空間中的少量活動(dòng)神經(jīng)元來(lái)表示輸入數(shù)據(jù)，從而實(shí)現(xiàn)更高效、更穩(wěn)健的特征提取

3.5?變分自動(dòng)編碼器（VAE：Variational Autoencoder）

? ? ? ? ?該模型在潛在空間中引入了概率層，允許對(duì)新數(shù)據(jù)進(jìn)行采樣和生成。VAE可以從學(xué)習(xí)到的潛在分布中生成新的樣本，使其成為圖像生成和風(fēng)格遷移任務(wù)的理想選擇。

? ? ? ? ?

?3.6??序列間自動(dòng)編碼器（Sequence-to-Sequence Autoencoder）

? ? ? ?這種類(lèi)型的自動(dòng)編碼器也稱(chēng)為循環(huán)自動(dòng)編碼器，在圖 9 所示的編碼器和解碼器中利用循環(huán)神經(jīng)網(wǎng)絡(luò) （RNN） 層（例如，長(zhǎng)短期記憶 （LSTM） 或門(mén)控循環(huán)單元 （GRU））。此體系結(jié)構(gòu)非常適合處理順序數(shù)據(jù)（例如，時(shí)間序列或自然語(yǔ)言處理任務(wù)）。

3.7?Feature Disentanglement(特征分離)

? ? ?特征分離技術(shù)可以做到，在訓(xùn)練的同時(shí)，將vector中不同內(nèi)容的特征分開(kāi)(可以知道哪些維度代表哪些特征)。如下圖所示，可以做到將content和speaker兩種信息分離。

• Feature Disentangle一個(gè)比較常見(jiàn)的應(yīng)用就是：Voice Conversion(音色轉(zhuǎn)換)
• 在過(guò)去，要想轉(zhuǎn)換兩個(gè)speaker的音色，他們必須將相同的話(huà)各自都讀一遍，但這幾乎不能實(shí)現(xiàn)(實(shí)現(xiàn)起來(lái)很困難)；而現(xiàn)在，在Feature Disentangle的幫助下，兩個(gè)speaker不需要讀相同的內(nèi)容，就能完成音色的轉(zhuǎn)換。
• 由于Feature Disentangle可以做到將content和speaker兩種信息分離，所以就可以完成下面的例子，也就是Voice Conversion。用一個(gè)人的聲音讀出另一個(gè)人的話(huà)。

課時(shí)108 無(wú)監(jiān)督學(xué)習(xí)_嗶哩嗶哩_bilibili

Auto-encoder (李宏毅筆記) - 知乎

自動(dòng)編碼器（AutoEncoder）簡(jiǎn)介 - 知乎