自動(dòng)編碼器

自動(dòng)編碼器（Autoencoders）是無(wú)監(jiān)督學(xué)習(xí)領(lǐng)域中一種重要的神經(jīng)網(wǎng)絡(luò)架構(gòu)，它們主要用于數(shù)據(jù)壓縮和特征學(xué)習(xí)。

1. 自動(dòng)編碼器的定義：
   自動(dòng)編碼器是一種無(wú)監(jiān)督機(jī)器學(xué)習(xí)算法，它通過(guò)反向傳播進(jìn)行訓(xùn)練，目標(biāo)值被設(shè)置為與輸入值相等。其核心目標(biāo)是對(duì)輸入數(shù)據(jù)進(jìn)行壓縮，轉(zhuǎn)換成一個(gè)更小的表示形式，如果需要原始數(shù)據(jù)，可以從壓縮后的數(shù)據(jù)中重建。

2. 自動(dòng)編碼器的組成：
   自動(dòng)編碼器由三個(gè)主要部分組成：

   • 編碼器（Encoder）：負(fù)責(zé)將輸入數(shù)據(jù)壓縮成低維表示形式，即潛在空間（latent space）表示。
   • 潛在空間（Code或Bottleneck）：表示壓縮后的數(shù)據(jù)，該數(shù)據(jù)隨后被送入解碼器。
   • 解碼器（Decoder）：負(fù)責(zé)將編碼后的表示重建成原始數(shù)據(jù)維度，重建的數(shù)據(jù)是對(duì)原始輸入的一個(gè)有損近似。

3. 自動(dòng)編碼器的工作流程：

   • 數(shù)據(jù)首先被輸入到自動(dòng)編碼器中。
   • 編碼器將數(shù)據(jù)編碼并壓縮成較小的潛在表示。
   • 然后，解碼器學(xué)習(xí)如何從這個(gè)壓縮的表示中重建原始數(shù)據(jù)。

4. 訓(xùn)練目的：
   訓(xùn)練自動(dòng)編碼器的目的不單是復(fù)制輸入數(shù)據(jù)，而是讓網(wǎng)絡(luò)學(xué)習(xí)輸入數(shù)據(jù)的本質(zhì)特征。通過(guò)最小化損失函數(shù)，網(wǎng)絡(luò)學(xué)習(xí)到如何從壓縮表示中有效地重建數(shù)據(jù)。

5. 應(yīng)用場(chǎng)景：

   • 圖像去噪：自動(dòng)編碼器可以被訓(xùn)練來(lái)識(shí)別并去除圖像中的噪聲。
   • 數(shù)據(jù)降維：自動(dòng)編碼器用于降低數(shù)據(jù)的維度，同時(shí)盡可能保留重要信息。
   • 特征提取：自動(dòng)編碼器可以提取數(shù)據(jù)中的關(guān)鍵特征，這些特征可以用于其他機(jī)器學(xué)習(xí)任務(wù)。
   • 圖像上色：將黑白圖像轉(zhuǎn)換為彩色圖像。
   • 水印去除：從圖像或視頻中去除不需要的對(duì)象或水印。

6. 為何使用自動(dòng)編碼器：
   與主成分分析（PCA）等傳統(tǒng)技術(shù)相比，自動(dòng)編碼器能夠?qū)W習(xí)非線性轉(zhuǎn)換，可以利用非線性激活函數(shù)和多層結(jié)構(gòu)。此外，自動(dòng)編碼器可以使用卷積層來(lái)學(xué)習(xí)圖像、視頻和序列數(shù)據(jù)，這比PCA更有效。

7. 自動(dòng)編碼器的類(lèi)型：

   • 卷積自動(dòng)編碼器（Convolutional Autoencoders）：適用于圖像數(shù)據(jù)，可以用于圖像重建、上色等。
   • 稀疏自動(dòng)編碼器（Sparse Autoencoders）：通過(guò)懲罰隱藏層的激活來(lái)引入信息瓶頸。
   • 深度自動(dòng)編碼器（Deep Autoencoders）：由多層編碼和解碼網(wǎng)絡(luò)組成，可以學(xué)習(xí)更復(fù)雜的數(shù)據(jù)表示。
   • 合同自動(dòng)編碼器（Contractive Autoencoders）：通過(guò)懲罰隱藏層激活相對(duì)于輸入的大幅度變化來(lái)幫助網(wǎng)絡(luò)編碼未標(biāo)記的訓(xùn)練數(shù)據(jù)。

自動(dòng)編碼器架構(gòu)

先來(lái)看看 自動(dòng)編碼器的架構(gòu)。 ：

自動(dòng)編碼器的架構(gòu)可以概括為三個(gè)核心組件：編碼器、瓶頸（或潛在空間），以及解碼器：

1. 編碼器（Encoder）：
   編碼器是自動(dòng)編碼器的輸入部分，通常由前饋、密集連接的網(wǎng)絡(luò)層組成。它的任務(wù)是接收原始輸入數(shù)據(jù)，并通過(guò)一系列的變換，將其轉(zhuǎn)換成一個(gè)低維的內(nèi)部表示。這個(gè)過(guò)程涉及到數(shù)據(jù)壓縮，目的是提取輸入數(shù)據(jù)中的關(guān)鍵特征，并將其編碼到一個(gè)較小的潛在空間中。

2. 瓶頸（Bottleneck）：
   瓶頸層，也稱(chēng)為潛在表示或潛在變量，是自動(dòng)編碼器中編碼過(guò)程的結(jié)果。這一層捕捉了輸入數(shù)據(jù)的壓縮表示，它包含了重建原始數(shù)據(jù)所必需的最重要信息。瓶頸層的設(shè)計(jì)至關(guān)重要，因?yàn)樗枰獩Q定哪些數(shù)據(jù)特征是信息豐富且需要保留的，哪些是可以丟棄的。瓶頸層通過(guò)逐元素的激活函數(shù)處理網(wǎng)絡(luò)的權(quán)重和偏差，以實(shí)現(xiàn)這種壓縮和特征選擇。

3. 解碼器（Decoder）：
   解碼器是自動(dòng)編碼器的輸出部分，它的任務(wù)是將瓶頸層的壓縮表示重新轉(zhuǎn)換成原始數(shù)據(jù)的高維表示。解碼器通常由一系列解壓縮的層組成，這些層逐步增加數(shù)據(jù)的維度，直到達(dá)到與原始輸入數(shù)據(jù)相同的維度。解碼器的目標(biāo)是從潛在空間表示中重建數(shù)據(jù)，盡可能地恢復(fù)輸入數(shù)據(jù)的原始特征和結(jié)構(gòu)。

自動(dòng)編碼器的訓(xùn)練通常采用反向傳播算法，這是一種監(jiān)督學(xué)習(xí)技術(shù)，用于最小化輸入數(shù)據(jù)和重建數(shù)據(jù)之間的差異，通常通過(guò)損失函數(shù)來(lái)衡量。損失函數(shù)的常見(jiàn)選擇包括均方誤差（MSE）或二元交叉熵（Binary Cross-Entropy, BCE），具體取決于數(shù)據(jù)的性質(zhì)和范圍。

自動(dòng)編碼器的屬性

自動(dòng)編碼器有多種類(lèi)型，但它們都具有將它們結(jié)合在一起的某些屬性。自動(dòng)編碼器自動(dòng)學(xué)習(xí)。 它們不需要標(biāo)簽，如果給定足夠的數(shù)據(jù)，很容易讓自動(dòng)編碼器在特定類(lèi)型的輸入數(shù)據(jù)上達(dá)到高性能。自動(dòng)編碼器是特定于數(shù)據(jù)的。 這意味著它們只能壓縮與自動(dòng)編碼器已經(jīng)訓(xùn)練過(guò)的數(shù)據(jù)高度相似的數(shù)據(jù)。 自動(dòng)編碼器也是有損的，這意味著模型的輸出與輸入數(shù)據(jù)相比將會(huì)降低。
在設(shè)計(jì)自動(dòng)編碼器時(shí)，機(jī)器學(xué)習(xí)工程師需要注意四個(gè)不同的模型超參數(shù)：代碼大小、層數(shù)、每層節(jié)點(diǎn)和損失函數(shù)。
代碼大小決定了有多少節(jié)點(diǎn)開(kāi)始網(wǎng)絡(luò)的中間部分，節(jié)點(diǎn)越少，數(shù)據(jù)壓縮得越多。 在深度自動(dòng)編碼器中，雖然層數(shù)可以是工程師認(rèn)為合適的任何數(shù)量，但層中的節(jié)點(diǎn)數(shù)應(yīng)該隨著編碼器的繼續(xù)而減少。 同時(shí)，解碼器中的情況正好相反，這意味著隨著解碼器層接近最后一層，每層的節(jié)點(diǎn)數(shù)量應(yīng)該增加。 最后，自動(dòng)編碼器的損失函數(shù)通常是二進(jìn)制交叉熵或均方誤差。 二元交叉熵適用于數(shù)據(jù)輸入值在 0 – 1 范圍內(nèi)的情況。

自動(dòng)編碼器類(lèi)型

如上所述，經(jīng)典自動(dòng)編碼器架構(gòu)存在變體。 讓我們研究一下不同的自動(dòng)編碼器架構(gòu)。

雖然自動(dòng)編碼器通常存在通過(guò)減少節(jié)點(diǎn)來(lái)壓縮數(shù)據(jù)的瓶頸， 稀疏自動(dòng)編碼器s 是典型操作格式的替代方案。 在稀疏網(wǎng)絡(luò)中，隱藏層保持與編碼器和解碼器層相同的大小。 相反，給定層內(nèi)的激活會(huì)受到懲罰，對(duì)其進(jìn)行設(shè)置，以便損失函數(shù)更好地捕獲輸入數(shù)據(jù)的統(tǒng)計(jì)特征。 換句話說(shuō)，雖然稀疏自動(dòng)編碼器的隱藏層比傳統(tǒng)自動(dòng)編碼器具有更多的單元，但在任何給定時(shí)間只有一定比例的隱藏層處于活動(dòng)狀態(tài)。 最有影響力的激活函數(shù)被保留，其他激活函數(shù)被忽略，這種約束有助于網(wǎng)絡(luò)確定輸入數(shù)據(jù)最顯著的特征。

收縮性

收縮自動(dòng)編碼器 旨在對(duì)數(shù)據(jù)中的微小變化具有彈性，從而保持?jǐn)?shù)據(jù)的一致表示。 這是通過(guò)對(duì)損失函數(shù)應(yīng)用懲罰來(lái)實(shí)現(xiàn)的。 該正則化技術(shù)基于輸入編碼器激活的雅可比矩陣的 Frobenius 范數(shù)。 這種正則化技術(shù)的效果是，模型被迫構(gòu)建一種編碼，其中相似的輸入將具有相似的編碼。

卷積

卷積自動(dòng)編碼器 通過(guò)將數(shù)據(jù)分成多個(gè)子部分，然后將這些子部分轉(zhuǎn)換為簡(jiǎn)單信號(hào)，將這些信號(hào)相加以創(chuàng)建新的數(shù)據(jù)表示，對(duì)輸入數(shù)據(jù)進(jìn)行編碼。 與卷積神經(jīng)網(wǎng)絡(luò)類(lèi)似，卷積自動(dòng)編碼器專(zhuān)門(mén)研究圖像數(shù)據(jù)的學(xué)習(xí)，它使用一個(gè)在整個(gè)圖像上逐節(jié)移動(dòng)的濾波器。 編碼層生成的編碼可用于重建圖像、反映圖像或修改圖像的幾何形狀。 一旦網(wǎng)絡(luò)學(xué)習(xí)了濾波器，它們就可以用于任何足夠相似的輸入來(lái)提取圖像的特征。

去噪

去噪自動(dòng)編碼器 將噪聲引入編碼中，導(dǎo)致編碼成為原始輸入數(shù)據(jù)的損壞版本。 這個(gè)損壞的數(shù)據(jù)版本用于訓(xùn)練模型，但損失函數(shù)將輸出值與原始輸入而不是損壞的輸入進(jìn)行比較。 目標(biāo)是網(wǎng)絡(luò)將能夠重現(xiàn)圖像的原始、未損壞版本。 通過(guò)將損壞的數(shù)據(jù)與原始數(shù)據(jù)進(jìn)行比較，網(wǎng)絡(luò)可以了解數(shù)據(jù)的哪些特征最重要以及哪些特征不重要/損壞。 換句話說(shuō)，為了讓模型對(duì)損壞的圖像進(jìn)行去噪，它必須提取圖像數(shù)據(jù)的重要特征。

變分

變分自動(dòng)編碼器 通過(guò)假設(shè)數(shù)據(jù)的潛在變量如何分布來(lái)進(jìn)行操作。 變分自動(dòng)編碼器為訓(xùn)練圖像/潛在屬性的不同特征生成概率分布。 訓(xùn)練時(shí)，編碼器為輸入圖像的不同特征創(chuàng)建潛在分布。

由于該模型將特征或圖像學(xué)習(xí)為高斯分布而不是離散值，因此它能夠用于生成新圖像。 對(duì)高斯分布進(jìn)行采樣以創(chuàng)建一個(gè)向量，該向量被饋送到解碼網(wǎng)絡(luò)，解碼網(wǎng)絡(luò)根據(jù)該樣本向量渲染圖像。 本質(zhì)上，該模型學(xué)習(xí)訓(xùn)練圖像的共同特征，并為其分配一些發(fā)生的概率。 然后，概率分布可用于對(duì)圖像進(jìn)行逆向工程，生成與原始訓(xùn)練圖像相似的新圖像。

訓(xùn)練網(wǎng)絡(luò)時(shí)，分析編碼數(shù)據(jù)，識(shí)別模型輸出兩個(gè)向量，得出圖像的平均值和標(biāo)準(zhǔn)差。 根據(jù)這些值創(chuàng)建分布。 這是針對(duì)不同的潛在狀態(tài)完成的。 然后，解碼器從相應(yīng)的分布中獲取隨機(jī)樣本，并使用它們來(lái)重建網(wǎng)絡(luò)的初始輸入。

自動(dòng)編碼器應(yīng)用

自動(dòng)編碼器可用于廣泛 多種應(yīng)用，但它們通常用于降維、數(shù)據(jù)去噪、特征提取、圖像生成、序列到序列預(yù)測(cè)和推薦系統(tǒng)等任務(wù)。

數(shù)據(jù)去噪是使用自動(dòng)編碼器從圖像中去除顆粒/噪聲。 同樣，自動(dòng)編碼器可用于修復(fù)其他類(lèi)型的圖像損壞，例如模糊圖像或圖像缺失部分。 降維可以幫助高容量網(wǎng)絡(luò)學(xué)習(xí)圖像的有用特征，這意味著自動(dòng)編碼器可用于增強(qiáng)其他類(lèi)型神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。 使用自動(dòng)編碼器進(jìn)行特征提取也是如此，因?yàn)樽詣?dòng)編碼器可用于識(shí)別其他訓(xùn)練數(shù)據(jù)集的特征來(lái)訓(xùn)練其他模型。

在圖像生成方面，自動(dòng)編碼器可用于生成假人類(lèi)圖像或動(dòng)畫(huà)角色，這可用于設(shè)計(jì)人臉識(shí)別系統(tǒng)或自動(dòng)化動(dòng)畫(huà)的某些方面。

序列到序列預(yù)測(cè)模型可用于確定數(shù)據(jù)的時(shí)間結(jié)構(gòu)，這意味著自動(dòng)編碼器可用于生成序列中的下一個(gè)偶數(shù)。 因此，可以使用自動(dòng)編碼器來(lái)生成視頻。 最后，深度自動(dòng)編碼器可用于通過(guò)拾取與用戶(hù)興趣相關(guān)的模式來(lái)創(chuàng)建推薦系統(tǒng)，編碼器分析用戶(hù)參與數(shù)據(jù)，解碼器創(chuàng)建適合已建立模式的推薦。