序言

在深度學(xué)習(xí)領(lǐng)域，自編碼器作為一種無監(jiān)督學(xué)習(xí)技術(shù)，憑借其強(qiáng)大的特征表示能力，在數(shù)據(jù)壓縮、去噪、異常檢測(cè)及生成模型等多個(gè)方面展現(xiàn)出獨(dú)特魅力。其中，隨機(jī)編碼器和解碼器作為自編碼器的一種創(chuàng)新形式，進(jìn)一步拓寬了其應(yīng)用邊界。隨機(jī)編碼器通過引入隨機(jī)性，如噪聲注入或概率性映射，使得編碼過程不再拘泥于固定的轉(zhuǎn)換規(guī)則，而是能夠捕捉數(shù)據(jù)中的潛在隨機(jī)性和多樣性。這一特性對(duì)于處理復(fù)雜多變的現(xiàn)實(shí)世界數(shù)據(jù)尤為關(guān)鍵，因?yàn)樗试S模型在編碼時(shí)保留更多的不確定性信息，為后續(xù)處理或生成任務(wù)提供豐富的素材。

隨機(jī)編碼器和解碼器（Stochastic Encoders and Decoders）

• 自編碼器僅僅是一個(gè)前饋網(wǎng)絡(luò)，可以使用與傳統(tǒng)前饋網(wǎng)絡(luò)相同的損失函數(shù)和輸出單元。

• 如深度網(wǎng)絡(luò)現(xiàn)代實(shí)踐 - 深度前饋網(wǎng)絡(luò)之基于梯度的學(xué)習(xí)篇 - 其他的輸出類型中描述，設(shè)計(jì)前饋網(wǎng)絡(luò)的輸出單元和損失函數(shù)普遍策略是定義一個(gè)輸出分布 $p(\mathbf{y}\mid \mathbf{x})$ 并最小化負(fù)對(duì)數(shù)似然 $?\log p(\mathbf{y}\mid \mathbf{x})$。在這種情況下，$\mathbf{y}$ 是關(guān)于目標(biāo)的向量（如類標(biāo)）。

• 在自編碼器中， $\mathbf{x}$ 既是輸入也是目標(biāo)。

  • 然而，我們?nèi)匀豢梢允褂门c之前相同的架構(gòu)。
  • 給定一個(gè)隱藏編碼 $\mathbf{h}$，我們可以認(rèn)為解碼器提供了一個(gè)條件分布 $p_{\text{model}}(\mathbf{x}\mid \mathbf{h})$。
  • 接著我們根據(jù)最小化 $?\log p_{\text{decoder}}(\mathbf{x}\mid \mathbf{h})$ 來訓(xùn)練自編碼器。
  • 損失函數(shù)的具體形式視$p_{\text{decoder}}$ 的形式而定。
  • 就傳統(tǒng)的前饋網(wǎng)絡(luò)來說，我們通常使用線性輸出單元參數(shù)化高斯分布的均值（如果 $\mathbf{x}$ 是實(shí)的）。
  • 在這種情況下，負(fù)對(duì)數(shù)似然對(duì)應(yīng)均方誤差準(zhǔn)則。
  • 類似地，二值 $\mathbf{x}$ 對(duì)應(yīng)參數(shù)由$\text{sigmoid}$單元確定的Bernoulli 分布，離散的 $\mathbf{x}$ 對(duì)應(yīng)$\text{softmax}$分布等等。
  • 為了便于計(jì)算概率分布，我們通常認(rèn)為輸出變量與給定 $\mathbf{h}$ 是條件獨(dú)立的，但一些技術(shù)（如混合密度輸出）可以解決輸出相關(guān)的建模。

• 為了更徹底地區(qū)別之前看到的前饋網(wǎng)絡(luò)，我們也可以將編碼函數(shù) ($\text{encoding?function}$) $f(x)$ 的概念推廣為編碼分布 ($\text{encoding?distribution}$) $p_{\text{encoder}}(\mathbf{h}\mid \mathbf{x})$，如圖例1中所示。

  • 以及一個(gè)隨機(jī)解碼器：
    $p_{\text{decoder}}(\mathbf{x}\mid \mathbf{h})=p_{\text{model}}(\mathbf{x}\mid \mathbf{h})$ $\text{—公式1}$

• 一般情況下， 編碼器和解碼器的分布沒有必要與一個(gè)唯一的聯(lián)合分布 $p_{\text{model}}(\mathbf{x}\mid \mathbf{h})$ 的條件分布相容。 $\text{Alain?et?al.?(2015)}$ 指出將編碼器和解碼器作為去噪自編碼器訓(xùn)練，能使它們漸近地相容（有足夠的容量和樣本）。

• 圖例1：隨機(jī)自編碼器的結(jié)構(gòu)，其中編碼器和解碼器包括一些噪聲注入，而不是簡(jiǎn)單的函數(shù)。

  • 隨機(jī)自編碼器的結(jié)構(gòu)，其中編碼器和解碼器包括一些噪聲注入，而不是簡(jiǎn)單的函數(shù)。
    

  • 說明：

    • 這意味著可以將它們的輸出視為來自分布的采樣（對(duì)于編碼器是 $p_{\text{encoder}}(\mathbf{h}\mid \mathbf{x})$，對(duì)于解碼器是$p_{\text{decoder}}(\mathbf{x}\mid \mathbf{h})$。

總結(jié)

• 隨機(jī)編碼器和解碼器的引入，為深度學(xué)習(xí)自編碼器家族增添了新的活力與可能性。它們不僅增強(qiáng)了自編碼器處理復(fù)雜數(shù)據(jù)的能力，還促進(jìn)了生成模型的發(fā)展，使得生成的數(shù)據(jù)樣本更加自然、多樣。通過隨機(jī)性的巧妙運(yùn)用，這些模型能夠在保持?jǐn)?shù)據(jù)主要特征的同時(shí)，有效模擬真實(shí)世界中的不確定性，為圖像生成、文本創(chuàng)作乃至更廣泛的AI創(chuàng)作領(lǐng)域開辟了新路徑。
• 未來，隨著技術(shù)的不斷進(jìn)步和算法的優(yōu)化，隨機(jī)自編碼器有望在更多領(lǐng)域展現(xiàn)其獨(dú)特價(jià)值，推動(dòng)人工智能技術(shù)的持續(xù)創(chuàng)新與發(fā)展。

往期內(nèi)容回顧

深度學(xué)習(xí)自編碼器 - 引言篇
深度學(xué)習(xí)自編碼器 - 欠完備自編碼器篇
深度學(xué)習(xí)自編碼器 - 正則自編碼器篇
深度網(wǎng)絡(luò)現(xiàn)代實(shí)踐 - 深度前饋網(wǎng)絡(luò)之基于梯度的學(xué)習(xí)篇