當(dāng)前位置：首頁(yè) > news >正文

c2c代表網(wǎng)站有哪些百度代理查詢

news 2025/7/11 9:29:28

c2c代表網(wǎng)站有哪些,百度代理查詢,電子商務(wù)網(wǎng)站開發(fā)這書不出版了嗎,蘇州網(wǎng)絡(luò)推廣公司哪家好Flow-based Robust Watermarking with Invertible Noise Layer for Black-box DistortionsAAAI, 2023，新加坡國(guó)立大學(xué)&中國(guó)科學(xué)技術(shù)大學(xué)本論文提出一種基于流的魯棒數(shù)字水印框架，該框架采用了可逆噪聲層來(lái)抵御黑盒失真。一、問(wèn)題基于深度神經(jīng)網(wǎng)絡(luò)…

Flow-based Robust Watermarking with Invertible Noise Layer for Black-box Distortions
AAAI, 2023，新加坡國(guó)立大學(xué)&中國(guó)科學(xué)技術(shù)大學(xué)
本論文提出一種基于流的魯棒數(shù)字水印框架，該框架采用了可逆噪聲層來(lái)抵御黑盒失真。

?一、問(wèn)題

基于深度神經(jīng)網(wǎng)絡(luò)的水印算法已被廣泛研究，大多數(shù)的算法都使用了一種“編碼器-噪聲層-解碼器”（Encoder-NoiseLayer-Decoder）的框架，但這樣的框架可能會(huì)產(chǎn)生一個(gè)潛在的問(wèn)題，就是編碼器和解碼器耦合不夠好的問(wèn)題。而這一問(wèn)題可能會(huì)使編碼器嵌入解碼無(wú)關(guān)的信號(hào)，從而限制算法在不可見性與魯棒性上的整體性能。

二、所提的方法

1、概述

a.提出了一種基于可逆流模型的魯棒水印框架

為更好地實(shí)現(xiàn)編碼器與解碼器的耦合，論文提出了一種基于可逆流模型的魯棒水印框架，有效使用了相同的網(wǎng)絡(luò)參數(shù)同時(shí)執(zhí)行嵌入過(guò)程和提取過(guò)程。該框架的核心是一系列可逆網(wǎng)絡(luò)單元，能有效實(shí)現(xiàn)輸入信號(hào)和輸出信號(hào)的無(wú)損轉(zhuǎn)換。這樣，網(wǎng)絡(luò)的前向傳輸過(guò)程就能有效作為編碼器實(shí)現(xiàn)消息的嵌入過(guò)程，而反向傳輸過(guò)程就能作為解碼器實(shí)現(xiàn)消息的提取過(guò)程。從而保證了編碼器和解碼器的高度耦合。?

b.提出了一個(gè)可逆噪聲層的結(jié)構(gòu)來(lái)應(yīng)對(duì)黑盒失真

可逆噪聲層的主體是一個(gè)可逆流網(wǎng)絡(luò)，其目的是使用前向傳輸過(guò)程模擬黑盒失真。模擬完成的可逆噪聲層的前向過(guò)程能有效的作為黑盒失真層加入到整個(gè)框架中進(jìn)行訓(xùn)練。同時(shí)由于可逆性的存在，可逆噪聲層的反向過(guò)程也能有效的當(dāng)作一種提取前的去噪過(guò)程，有效去除部分噪聲的影響并提升了魯棒性。

圖1. 水印訓(xùn)練和測(cè)試的框架圖。算法的主要架構(gòu)是基于流的編碼器和解碼器，由多個(gè)可逆神經(jīng)塊組成，可用于前向編碼過(guò)程和反向解碼過(guò)程。在編碼器和解碼器之間，執(zhí)行包含白盒和黑盒扭曲的噪聲層，以將水印圖像扭曲為解碼器訓(xùn)練的扭曲版本。

2、如何理解“可逆”？

在這篇論文中，可逆性主要體現(xiàn)在所提出的流式編碼器/解碼器（Flow-based Encoder/Decoder，簡(jiǎn)稱 FED）架構(gòu)上。FED利用了可逆神經(jīng)網(wǎng)絡(luò)（Invertible Neural Networks，簡(jiǎn)稱 INN）的特性來(lái)實(shí)現(xiàn)編碼和解碼過(guò)程的可逆性。具體來(lái)說(shuō)，可逆性體現(xiàn)在以下幾個(gè)方面：

a.共享參數(shù)的編碼器和解碼器

在傳統(tǒng)的“編碼器-噪聲層-解碼器”（END）架構(gòu)中，編碼器和解碼器是分開訓(xùn)練的，可能導(dǎo)致它們之間耦合不緊密。

流式架構(gòu)通過(guò)使用可逆的神經(jīng)網(wǎng)絡(luò)塊，使得編碼器和解碼器共享相同的網(wǎng)絡(luò)參數(shù)和結(jié)構(gòu)，這意味著它們?cè)谇跋蚓幋a和反向解碼過(guò)程中共享相同的網(wǎng)絡(luò)權(quán)重。從而在前向編碼和反向解碼過(guò)程中實(shí)現(xiàn)緊密耦合：

b.可逆的神經(jīng)塊

FED由多個(gè)可逆的“上-下采樣”神經(jīng)塊組成。這些神經(jīng)塊在前向傳播時(shí)用于嵌入水印信息，在反向傳播時(shí)用于提取水印信息。每個(gè)神經(jīng)塊都設(shè)計(jì)為可逆的，即它們能夠通過(guò)相同的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)實(shí)現(xiàn)前向和反向操作。

c.前向編碼和反向解碼

在前向編碼過(guò)程中，可逆神經(jīng)塊接收水印信息和宿主圖像作為輸入，并輸出帶水印的圖像和冗余信息。在反向解碼過(guò)程中，使用相同的神經(jīng)塊結(jié)構(gòu)，但信息流的方向相反，從而從失真圖像中恢復(fù)出水印信息。

（1）在前向編碼過(guò)程中，我們有圖像信息 $x_{i}$ 和水印信息 $m_{i}$ 作為輸入。我們的目標(biāo)是將水印信息嵌入到圖像中，生成新的圖像信息 $x_{i+1}$ 和更新后的水印信息 $m_{i+1}$ ?。

上采樣操作? $U_i$ ：將水印信息 $m_i$ 上采樣到與圖像信息 $x_{i}$ 相同的尺寸。
下采樣操作? $D_{i}^{1}$ 和 $D_{i}^{2}$ ：這兩個(gè)操作將上采樣后的圖像信息? $x_{i+1}$ 進(jìn)行下采樣，得到兩個(gè)不同的表示，用于更新水印信息。
前向編碼公式如下：

這里，?表示點(diǎn)積操作，exp 表示指數(shù)函數(shù)。?

在正向編碼過(guò)程中使用的加號(hào)（+）表示的是將兩個(gè)信號(hào)或特征圖進(jìn)行逐元素相加的操作。這種操作在神經(jīng)網(wǎng)絡(luò)中非常常見，尤其是在處理圖像數(shù)據(jù)時(shí)。公式中，加號(hào)用于將上采樣后的水印信息與原始圖像信息相結(jié)合。原因和作用：

1.?合并信息

加法操作用于合并兩個(gè)不同的信息源。在正向編碼的情況下，這包括：

原始圖像信息 $x_{i}$ ：這是未經(jīng)修改的輸入圖像。
上采樣的水印信息 $U_i{(m_i)}$ ：這是將水印信息上采樣到與圖像相同的尺寸后的結(jié)果。

通過(guò)將這兩個(gè)信息源相加，我們可以將水印信息直接嵌入到圖像中，而不顯著改變圖像的視覺(jué)特性。

2.?保持圖像質(zhì)量

加法是一種簡(jiǎn)單且有效的信息融合方法，因?yàn)樗粫?huì)引入額外的復(fù)雜性或計(jì)算負(fù)擔(dān)。在圖像處理中，保持原始圖像的視覺(jué)質(zhì)量是非常重要的，尤其是在水印或隱寫術(shù)應(yīng)用中。加法操作因其簡(jiǎn)單性，通常不會(huì)對(duì)圖像質(zhì)量產(chǎn)生負(fù)面影響。

3.?可逆性

在可逆神經(jīng)網(wǎng)絡(luò)中，加法操作是可逆的，這意味著可以通過(guò)反向操作（減法）來(lái)恢復(fù)原始的圖像信息。這種可逆性對(duì)于后續(xù)的解碼過(guò)程至關(guān)重要，因?yàn)樗试S從帶水印的圖像中準(zhǔn)確地提取出水印信息。

（2）在反向解碼過(guò)程中，我們希望從帶水印的圖像中提取出水印信息。我們使用與前向編碼相同的網(wǎng)絡(luò)塊，但是以相反的順序應(yīng)用它們。

反向操作：首先對(duì)冗余信息 $r_{i+1}$ 進(jìn)行操作，以生成 $r_{i}$ 。
下采樣的逆操作：使用 $U_i$ 的逆操作從 $r_{i}$ 中恢復(fù)圖像信息 $x_{i}$ 。
反向解碼公式如下：

這里， $x_{i+1}'$ 是失真圖像， $r_{i+1}$ 是從 $x_{i+1}'$ 中提取的冗余信息?

在反向解碼過(guò)程中使用的負(fù)號(hào)（-）和指數(shù)函數(shù)（exp?）是可逆神經(jīng)網(wǎng)絡(luò)中常見的操作，它們用于確保網(wǎng)絡(luò)的可逆性和信息的準(zhǔn)確恢復(fù)。這些操作的具體作用如下：

負(fù)號(hào)（-）：在反向操作中，負(fù)號(hào)用于逆轉(zhuǎn)前向過(guò)程中某些操作的效果。在許多可逆網(wǎng)絡(luò)設(shè)計(jì)中，正向操作和反向操作是對(duì)稱的，負(fù)號(hào)確保了這種對(duì)稱性，使得網(wǎng)絡(luò)可以準(zhǔn)確地反向追蹤其操作。例如，如果在前向傳播中進(jìn)行了加法操作 $x=y+z$ ，那么在反向傳播中，我們可能需要執(zhí)行減法操作 $z=x-y$ 來(lái)恢復(fù) z的值。

指數(shù)函數(shù)（exp?）：指數(shù)函數(shù)在可逆網(wǎng)絡(luò)中用于處理乘法或除法操作。這是因?yàn)槌朔ê统ú僮髟跀?shù)學(xué)上不是可逆的，因?yàn)樗鼈儾槐３中畔⒌囊灰粚?duì)應(yīng)關(guān)系。通過(guò)使用指數(shù)和對(duì)數(shù)函數(shù)，我們可以將乘法轉(zhuǎn)換為加法，或?qū)⒊ㄞD(zhuǎn)換為減法，從而使得操作可逆。例如，如果前向操作是乘法 $x=yz$ ，那么反向操作可以是 $z = \exp(\ln(x) - \ln(y))$

負(fù)號(hào)???用于逆轉(zhuǎn) $D_{i}^{1}$ 操作的效果。
指數(shù)函數(shù)?exp?用于逆轉(zhuǎn) $D_{i}^{1}$ 操作的效果，并且通過(guò)這種方式，可以將乘法操作轉(zhuǎn)換為加法操作，使得網(wǎng)絡(luò)可逆。

d.可逆的噪聲層

噪聲層在訓(xùn)練階段被引入，用于模擬和扭曲水印圖像，使解碼器能夠從扭曲的圖像中提取出水印信息。這種機(jī)制通過(guò)聯(lián)合訓(xùn)練編碼器、噪聲層和解碼器來(lái)確保水印系統(tǒng)的魯棒性。

（1）噪聲層的類型

白盒噪聲層（White-box Noise Layer）：直接使用現(xiàn)有的可微噪聲層（如JPEGSS用于JPEG壓縮）。這些噪聲層通過(guò)已知的可微操作模擬已知的圖像處理過(guò)程。
黑盒噪聲層（Black-box Noise Layer，即INL）：針對(duì)未知機(jī)制的黑盒失真（如社交媒體中的風(fēng)格轉(zhuǎn)換），采用可逆神經(jīng)網(wǎng)絡(luò)（Invertible Neural Network, INN）來(lái)模擬這些失真。INL的前向過(guò)程作為訓(xùn)練時(shí)的噪聲層，后向過(guò)程作為提取前的去噪操作，以提升系統(tǒng)對(duì)黑盒失真的魯棒性。

（2）黑盒噪聲層（INL）的設(shè)計(jì)

訓(xùn)練數(shù)據(jù)：通過(guò)將原始圖像? $I_+$ 經(jīng)過(guò)黑盒失真過(guò)程（（如風(fēng)格轉(zhuǎn)換API）），得到失真圖像 $I_-$ ，形成訓(xùn)練數(shù)據(jù)對(duì)?{ $I_+$ , $I_-$ }。
網(wǎng)絡(luò)架構(gòu)：INL由多個(gè)可逆噪聲塊組成，每個(gè)噪聲塊包含三個(gè)模塊：?、ρ、ω，這些模塊是任意的可學(xué)習(xí)函數(shù)。通過(guò)前向過(guò)程將原始圖像扭曲成扭曲圖像，后向過(guò)程則將扭曲圖像恢復(fù)到接近原始圖像的狀態(tài)。
訓(xùn)練目標(biāo)：使得通過(guò)INL正向過(guò)程? $N_{\theta_d}(I_{+})$ 處理后的失真圖像 $I_{+}^{de}$ 盡可能接近于真實(shí)失真圖像 $I_-$ ，同時(shí)在反向過(guò)程 $N_{\theta_d}^{-1}(I_{-})$ 中，處理后的圖像? $I_{-}^{de}$ 應(yīng)盡可能接近原始圖像 $I_+$ 。

$\mathcal{L}_{\text{dis}}\left(\theta_d\right) = \text{MSE}\left(I_{+}^d, I_{-}\right) + \text{MSE}\left(I_{-}^{de}, I_{+}\right)$

INL的輸入和輸出： $y_{i}^h$ 和 $y_{i}^l$ 分別代表高頻和低頻組件。 $y_{i+1}^h$ 和 $y_{i+1}^l$ 是經(jīng)過(guò)處理后的高頻和低頻組件。

正向過(guò)程：公式描述了如何通過(guò)正向過(guò)程將輸入轉(zhuǎn)換為輸出，具體公式為如下。其中 $\phi$ , $\rho$ , 和 $\omega$ 是任意函數(shù)，通常選擇具有良好表示能力的密集塊（Dense Block）。?

$y_{i+1}^{l} = y_{i}^{l} + \varphi_{i}\left(y_{i}^{h}\right)$ ：這一步表示低頻組件的更新。函數(shù)?? 作用于高頻組件 $y_{i}^h$ ，并將結(jié)果加到低頻組件 $y_{i}^l$ 上，生成更新后的低頻組件 $y_{i+1}^l$ 。

$y_{i+1}^{h} = y_{i}^{h} \otimes \exp\left(\rho_{i}\left(y_{i+1}^{l}\right)\right) + \omega_{i}\left(y_{i+1}^{l}\right)$ ：這一步表示高頻組件的更新。ρ函數(shù)作用于更新后的低頻組件 $y_{i+1}^l$ ，然后取指數(shù)得到一個(gè)值，與原始高頻組件 $y_{i}^h$ 逐元素相乘（表示為 $\otimes$ ，Hadamard乘積。在矩陣或多維數(shù)組的上下文中，逐元素相乘是指兩個(gè)矩陣或數(shù)組相同位置的元素之間的乘法操作。）。ω函數(shù)同樣作用于 $y_{i+1}^l$ ，其結(jié)果與上述乘積相加，得到最終的高頻組件 $y_{i+1}^h$ 。

a. 離散小波變換（Discrete Wavelet Transform，DWT）

離散小波變換是一種用于信號(hào)分解的技術(shù)，它可以將信號(hào)分解成不同尺度（頻率）上的組成部分。DWT 利用小波函數(shù)來(lái)捕捉信號(hào)的局部特征，這些小波函數(shù)具有不同的尺度和位移版本。

功能：DWT 能夠?qū)⑿盘?hào)分解為低頻部分（近似部分）和高頻部分（細(xì)節(jié)部分）。低頻部分包含了信號(hào)的概貌信息，而高頻部分包含了信號(hào)的細(xì)節(jié)信息。
應(yīng)用：在圖像處理中，DWT 常用于圖像壓縮和降噪，因?yàn)樗苡行Х蛛x圖像中的不同特征；在音頻處理中，用于分析音頻信號(hào)中的不同頻率成分。

b. 逆離散小波變換（Inverse Discrete Wavelet Transform）

逆離散小波變換是 DWT 的逆過(guò)程，它用于從小波系數(shù)中重建原始信號(hào)。通過(guò) IDWT，可以將 DWT 分解得到的近似系數(shù)和細(xì)節(jié)系數(shù)重新合成為原始的信號(hào)或圖像。

功能：IDWT 通過(guò)結(jié)合低頻和高頻成分來(lái)重建信號(hào)。它確保了原始信號(hào)可以從其小波系數(shù)中準(zhǔn)確地恢復(fù)。
應(yīng)用：在圖像和信號(hào)的重建過(guò)程中，IDWT 是必不可少的步驟，特別是在壓縮和降噪處理之后，需要恢復(fù)原始圖像或信號(hào)時(shí)。