摘要

本周閱讀了一篇利用改進(jìn) Transformer 進(jìn)行長時(shí)間序列預(yù)測的論文。論文模型為 Robformer ，其主要強(qiáng)調(diào)了在長時(shí)間序列預(yù)測問題上模型的魯棒性。Robformer 主要包括幾個(gè)關(guān)鍵模塊：Encoder、Decoder、魯棒序列分解模塊、季節(jié)性成分調(diào)整模塊。Encoder 主要側(cè)重于從歷史信息中提取周期性依賴關(guān)系，以供解碼器使用。Decoder 包含兩部分：堆疊的自相關(guān)機(jī)制以獲得季節(jié)性部分，以及堆疊的穩(wěn)健趨勢預(yù)測塊用于趨勢部分。魯棒序列分解模塊主要提供一種簡單且有效的方法來更新內(nèi)部分解模塊，使其能夠魯棒地提取季節(jié)性成分。季節(jié)性成分調(diào)整模塊主要作用為進(jìn)一步確保分解后的季節(jié)性成分的魯棒性。

ABSTRACT

This week, We read a paper on long-term time series forecasting using an improved Transformer model. The model, named Robformer, primarily emphasizes the robustness of the model in long-term time series forecasting problems. Robformer consists of several key modules: the Encoder, the Decoder, the Robust Series Decomposition Module, and the Seasonal Component Adjustment Module. The Encoder mainly focuses on extracting periodic dependencies from historical information for the Decoder. The Decoder contains two parts: stacked Auto-Correlation mechanisms to obtain seasonal components and stacked robust trend forecasting blocks for trend components. The Robust Series Decomposition Module provides a simple and efficient approach to updating the inner decomposition blocks to extract seasonal components robustly. The Seasonal Component Adjustment Module’s main function is to further ensure the robustness of the decomposed seasonal components.

1 論文信息

1.1 論文標(biāo)題

Robformer: A robust decomposition transformer for long-term time series forecasting

1.2 論文摘要

基于 Transformer 的預(yù)測方法已廣泛應(yīng)用于長期多變量時(shí)間序列的預(yù)測，并在延長預(yù)測時(shí)間上取得了顯著進(jìn)展。然而，當(dāng)長期時(shí)間序列中出現(xiàn)突發(fā)趨勢變化和季節(jié)波動(dòng)時(shí)，這些方法的性能可能會(huì)嚴(yán)重退化。因此，作者確定了以往 Transformer 架構(gòu)的兩個(gè)瓶頸：(1) 穩(wěn)健性較差的分解模塊。 (2) 趨勢轉(zhuǎn)移問題，這一問題導(dǎo)致了在長期多變量序列預(yù)測中趨勢預(yù)測與真實(shí)值之間存在不同的分布。針對(duì)這些瓶頸，作者設(shè)計(jì)了 Robformer，一種新型基于分解的 Transformer，其包括三個(gè)新的內(nèi)部模塊，以增強(qiáng) Transformer 的預(yù)測能力。具體而言，作者更新了分解模塊，并添加了一個(gè)季節(jié)性成分調(diào)整模塊以處理非平穩(wěn)序列。此外，作者還提出了一種受多項(xiàng)式擬合方法啟發(fā)的新型內(nèi)部趨勢預(yù)測架構(gòu)，在準(zhǔn)確性和魯棒性方面優(yōu)于以往的設(shè)計(jì)。作者的實(shí)驗(yàn)研究表明，在六個(gè)基準(zhǔn)測試上，在公平的長期多變量設(shè)置下，Robformer 相比于最先進(jìn)的 Autoformer 和 FEDformer 基線分別實(shí)現(xiàn)了 17% 和 10% 的相對(duì)改進(jìn)，這些基準(zhǔn)測試涵蓋了能源、經(jīng)濟(jì)、交通、天氣和疾病五大主流時(shí)間序列預(yù)測應(yīng)用。

1.3 論文引言

長期多變量時(shí)間序列預(yù)測（LTTF）問題旨在輸出比已知序列長度多幾倍的預(yù)測序列，這在許多領(lǐng)域如金融、能源或天氣中都很常見。最近的相關(guān)研究中，引入了 Transformers 以利用其自注意機(jī)制捕捉時(shí)間點(diǎn)之間復(fù)雜的依賴關(guān)系，并實(shí)現(xiàn)長期預(yù)測。為了應(yīng)對(duì) Transformers 在計(jì)算時(shí)間和內(nèi)存方面的高消耗，一些基于 Transformer 的預(yù)測模型利用稀疏自注意機(jī)制來減少計(jì)算消耗，例如 ProbSparse 自注意 、因果卷積自注意和局部敏感哈希注意力。然而，這些方法會(huì)離散化時(shí)間序列的連續(xù)空間模式，并遺忘一些時(shí)間信息。由于合理的分解過程可以有效地理清糾纏的時(shí)間模式，這可以促進(jìn)模型準(zhǔn)確預(yù)測，基于 Transformer 的方法 Autoformer 和 FEDformer 利用基于簡單平滑移動(dòng)平均方法的內(nèi)部分解模塊來捕捉時(shí)間依賴關(guān)系，同時(shí)保持在 $(L\log L)$ 程度的復(fù)雜性。

然而，基于分解的 Transformers 仍面臨一些瓶頸，例如在預(yù)測現(xiàn)實(shí)世界多變量時(shí)間序列時(shí)的分布轉(zhuǎn)換問題。此外，一些單變量預(yù)測模型聲稱它們在長期單變量序列預(yù)測任務(wù)中已取得了與 Transformer 相當(dāng)?shù)慕Y(jié)果。盡管如此，Transformers 在長期多變量時(shí)間序列預(yù)測中真的不有效嗎？

Fig.1 ETTh2數(shù)據(jù)集上Autoformer的預(yù)測輸出和真實(shí)值之間的趨勢變化示意圖

為了回答這個(gè)問題，Non-stationary Transformers 和 RevIN 提出了類似于預(yù)處理的平穩(wěn)化和去平穩(wěn)化模塊，從提高數(shù)據(jù)可預(yù)測性的角度來提升 Transformer 的性能。類似地，PatchTST 將時(shí)間序列分割成序列級(jí)別的補(bǔ)丁，在輸入之前幫助 Transformer 提取時(shí)間依賴性，這類似于標(biāo)記化方法。然而，從 Transformer 架構(gòu)的角度來看，使其在現(xiàn)實(shí)世界的時(shí)間序列上更具魯棒性仍然是一個(gè)具有挑戰(zhàn)性的問題。

在實(shí)驗(yàn)中，作者觀察到基于分解的 Transformers 架構(gòu)中存在兩個(gè)主要瓶頸。首先，簡單的移動(dòng)平均方法不足以應(yīng)對(duì)趨勢和周期項(xiàng)的突發(fā)波動(dòng)和變化，特別是被異常值誤導(dǎo)時(shí)，而傳統(tǒng)的分解解決方案由于計(jì)算復(fù)雜度的指數(shù)增長，很難應(yīng)用于內(nèi)部分解模塊。其次，先前的基于分解的 Transformers 很難學(xué)習(xí)時(shí)間序列中的長期趨勢模式。作者在 ETTh2 數(shù)據(jù)集上比較了 Autoformer 的預(yù)測結(jié)果和真實(shí)值，如圖1所示，可以發(fā)現(xiàn)預(yù)測的趨勢和實(shí)際的趨勢之間存在巨大的差距。作者進(jìn)一步進(jìn)行了實(shí)驗(yàn)，發(fā)現(xiàn)先前的基于分解的 Transformer 隨著回溯窗口大小的增加，預(yù)測誤差并沒有減少。后續(xù)分析顯示，這是因?yàn)樗鼈兪褂幂斎胄蛄械钠骄底鳛槲磥碲厔萁M件的水平，當(dāng)未來趨勢與輸入序列的平均值不一致時(shí)，會(huì)帶來錯(cuò)誤的趨勢預(yù)測。同時(shí)，當(dāng)歷史和預(yù)測序列的長度增加時(shí)，時(shí)間序列中包含的長期趨勢模式將被揭示，這需要模型具有捕捉多個(gè)趨勢模式的能力。因此，如何魯棒地分解時(shí)間序列并增強(qiáng)學(xué)習(xí)多種趨勢模式的能力被證明是基于分解的 Transformers 進(jìn)一步提升預(yù)測性能的瓶頸。

基于此，作者嘗試超越基于分解的 Transformer，并提出了一種新的端到端魯棒 Transformer，簡稱 Robformer，以便在不進(jìn)行預(yù)處理的情況下處理長期時(shí)間序列預(yù)測。Robformer 仍然遵循編碼器-解碼器結(jié)構(gòu)，并采用自相關(guān)機(jī)制，但創(chuàng)新性地加入了魯棒分解塊和季節(jié)性組件調(diào)整塊作為內(nèi)部操作，以實(shí)現(xiàn)更好的分解。所提出的新型魯棒分解塊簡單但高效，且具有低計(jì)算復(fù)雜度。Robformer 還引入了具有雙殘差結(jié)構(gòu)的魯棒趨勢預(yù)測塊，以取代原有的趨勢預(yù)測方法，在具有劇烈趨勢組件波動(dòng)的短期內(nèi)顯示出更好的性能。Robformer 保持了原始 $(L\log L)$ 級(jí)別的復(fù)雜度，并且可以推廣到其他基于分解的 Transformers，以進(jìn)一步改進(jìn)基礎(chǔ)模型。作者的 Robformer 在幾乎所有六個(gè)多變量真實(shí)世界基準(zhǔn)上都達(dá)到了最先進(jìn)的準(zhǔn)確性。

1.4 論文貢獻(xiàn)

① 提出了魯棒分解架構(gòu)和季節(jié)性組件調(diào)整塊，以減輕趨勢和周期項(xiàng)的突發(fā)波動(dòng)和變化對(duì)長期預(yù)測的影響。

② 提出了魯棒趨勢預(yù)測塊來提取長期時(shí)間序列的多種趨勢模式，顯示出比之前的趨勢預(yù)測塊更強(qiáng)的學(xué)習(xí)能力。這些提出的塊可以應(yīng)用于任何基于分解的 Transformer 模型，以提升其在長期時(shí)間序列預(yù)測任務(wù)（LTTF）中的性能。

2 論文模型

2.1 問題描述

給定具有 C（$C\ge 1$） 個(gè)變量的歷史時(shí)間序列數(shù)據(jù) H = { X 1 t , . . . , X C t } t = 1 L H = \{ X^{t}_{1},...,X^{t}_{C} \}^{L}_{t=1} H={X1t?,...,XCt?}t=1L?，其中 L 是輸入序列的長度，$X_i^t$ 是第 i 個(gè)變量在第 t 個(gè)時(shí)間步上的觀測值。時(shí)間序列預(yù)測問題主要是預(yù)測序列在未來 T 個(gè)時(shí)間步上的值，即 H ^ = { X 1 t ^ , . . . , X C t ^ } t = L + 1 L + T \widehat{H} = \{ \widehat{X^{t}_{1}},...,\widehat{X^{t}_{C}} \}^{L+T}_{t=L+1} H ={X1t? ?,...,XCt? ?}t=L+1L+T?，輸入 L 預(yù)測 T。在 LTTF 條件下，L<<T。

2.2 Robformer

作者將基于分解的 Transformer 改造為更為魯棒的深度預(yù)測模型（如圖2所示），包括魯棒序列分解塊（RobDecomp）、季節(jié)性成分調(diào)整塊（SAB） 和解碼器中的魯棒趨勢預(yù)測塊（RobTF）。

Fig.2 Robformer

N 個(gè)編碼器的輸入是過去 L 個(gè)時(shí)間步長 $H_{en}\in {\mathbb{R}}^{L\times d}$，而 M 個(gè)解碼器的輸入是包含季節(jié)性部分 $H_{des}\in {\mathbb{R}}^{(\frac{L}{2}+T)\times d}$ 和趨勢部分 $H_{det}\in {\mathbb{R}}^{(\frac{L}{2})\times d}$ 的分解序列。按照之前的工作，解碼器的季節(jié)性部分輸入包括兩部分：從編碼器輸入 $H_{en}$ 的后半部分分解出來的部分，長度為 $\frac{L}{2}$，這部分輸入可以提供過去信息；以及長度為 T 的填充標(biāo)量的掩碼輸入。然而，與用 $H_{en}$ 的平均值填充趨勢部分輸入不同，作者直接將長度為 $\frac{L}{2}$ 的趨勢部分 $H_{det}$ 輸入到解碼器中。公式如下：
$$\begin{gathered} H_{ens},H_{ent}=\text{RobDecomp}(H_{en\frac{L}{2}:L}), \\ {H}_{ensadj}=\text{SAB}(H_{ens}), \\ {H}_{des}=\text{Concat}(H_{ensadj},H_0),H_{det}=H_{ent}, \end{gathered}$$
其中 $H_{ens},H_{ent}\in {\mathbb{R}}^{(\frac{L}{2})\times d}$ 表示 $H_{en}$ 分解的季節(jié)性和趨勢部分 $H_0\in {\mathbb{R}}^{T\times d}$ 表示填充為零的占位符。

2.2.1 Encoder

編碼器主要側(cè)重于從歷史信息中提取周期性依賴關(guān)系，以供解碼器使用。對(duì)于 N 個(gè)編碼器層，第 $l$ 個(gè)編碼器層的方程可總結(jié)為 $H_{en}^l=\text{Encoder}(H_{en}^{l?1})$。詳細(xì)的方程形式化為：
$$\begin{gathered} g_{en}^{l,1},\_=\text{RobDecomp}(\text{AutoCorrelation}(H_{en}^{l?1})+H_{en}^{l?1}), \\ {g}_{en}^{l,2},\_=\text{RobDecomp}(\text{FeedForward}(g_{en}^{l,1})+g_{en}^{l,1}), \end{gathered}$$
其中“_”表示不必要的部分。 H e n l = g e n l , 2 , l ∈ { 1 , . . . , N } H_{en}^{l}=g_{en}^{l,2},l \in \{ 1,...,N \} Henl?=genl,2?,l∈{1,...,N} 表示第 $l$ 個(gè)編碼器層的輸出，$\text{AutoCorrelation}(?)$ 表示 Autoformer 中提出的自相關(guān)機(jī)制，該機(jī)制可以有效發(fā)現(xiàn)基于周期的依賴關(guān)系，以取代原來的自注意力機(jī)制。

2.2.2 Decoder

解碼器包含兩部分：堆疊的自相關(guān)機(jī)制以獲得季節(jié)性部分，以及堆疊的穩(wěn)健趨勢預(yù)測塊用于趨勢部分。假設(shè)有 M 個(gè)解碼器層，第 $l$ 個(gè)解碼器層的方程可以總結(jié)為 $H_{de}^l=\text{Decoder}(H_{de}^{l?1},H_{en}^N)$。$\text{Decoder}(?)$ 形式化為：
$$\begin{gathered} g_{de}^{l,1},\_=\text{RobDecomp}(\text{AutoCorrelation}(H_{de}^{l?1})+H_{de}^{l?1}), \\ {g}_{de}^{l,2},\_=\text{RobDecomp}(\text{AutoCorrelation}(g_{de}^{l,1},H_{en}^N)+g_{de}^{l,1}), \\ {g}_{de}^{l,3},\_=\text{RobDecomp}(\text{FeedForward}(g_{de}^{l,2})+g_{de}^{l,2}), \\ {G}_{de}=\text{RobTF}(H_{det}), \end{gathered}$$
其中 H d e l = g d e l , 3 , l ∈ { 1 , . . . , M } H_{de}^{l}=g_{de}^{l,3},l \in \{ 1,...,M \} Hdel?=gdel,3?,l∈{1,...,M} 表示第 $l$ 個(gè)解碼器層的輸出，$H_{de}^0$ 表示嵌入的 $H_{des}$， g d e l , i , i ∈ { 1 , 2 , 3 } g_{de}^{l,i},i \in \{ 1,2,3 \} gdel,i?,i∈{1,2,3} 對(duì)應(yīng)于第 $l$ 層中第 $i$ 個(gè)穩(wěn)健分解塊后的季節(jié)性部分。$G_{de}$ 表示解碼器的輸出。注意，$\text{RobTF}(?)$ 表示模型的穩(wěn)健趨勢預(yù)測塊。

最終預(yù)測是兩個(gè)分解成分的總和：$W_g?H_{de}^M+G_{de}$，其中 $W_g$ 表示季節(jié)性部分的簡單映射。

2.3 魯棒序列分解模塊

正如在前文中提到的，簡單的移動(dòng)平均方法難以處理突然的趨勢變化和季節(jié)性干擾問題，如圖2所示。為了解決這個(gè)困境，作者嘗試提出一種簡單且有效的方法來更新內(nèi)部分解模塊，使其能夠穩(wěn)健地提取季節(jié)性成分。作者在分解模塊中加入二階差分算子，使模型能夠自動(dòng)學(xué)習(xí)如何平滑具有突變波動(dòng)的分解趨勢成分。具體來說，作者對(duì)每個(gè)輸入序列采用二階移動(dòng)平均。對(duì)于長度為 L 的輸入序列 $H\in {\mathbb{R}}^{L\times d}$，其處理過程為：
$$\begin{gathered} H_t={\lambda }_1?\text{AvgPool}(\text{Padding}(H))+{\lambda }_2?\text{AvgPool}(\text{Padding}(\text{AvgPool}(\text{Padding}(H)))), \\ {\lambda }_1,{\lambda }_2=\text{Softmax}(L(H)), \\ {H}_s=H?H_t, \end{gathered}$$
其中，$H_s,H_t\in {\mathbb{R}}^{L\times d}$ 分別表示季節(jié)性和趨勢循環(huán)部分，每個(gè)部分都包含部分殘余噪聲。${\lambda }_1,{\lambda }_2$ 是基于輸入序列由線性映射層 $\text{L}(H)$ 自動(dòng)學(xué)習(xí)并通過 softmax 函數(shù) $\text{Softmax}(?)$ 轉(zhuǎn)換為概率分布的權(quán)重。通過這種方式，這些模塊可以實(shí)現(xiàn)相同的平滑效果。

此外，考慮到時(shí)間序列可能會(huì)與多個(gè)季節(jié)性模式耦合，這可能會(huì)擾亂去趨勢過程，可以利用加權(quán)移動(dòng)平均方法來消除這些影響。這種方法還可以使分解后的成分更加平滑。需要注意的是，所有權(quán)重的總和應(yīng)為1。類似于 FEDformer 中的 MOEDecomp 模塊，對(duì)于可能存在的多個(gè)季節(jié)性模式 { τ 1 , τ 2 , . . . , τ k } \{ \tau_{1},\tau_{2},...,\tau_{k} \} {τ1?,τ2?,...,τk?}，有 k 平均濾波器，其核大小分別為 { τ 1 , τ 2 , . . . , τ k } \{ \tau_{1},\tau_{2},...,\tau_{k} \} {τ1?,τ2?,...,τk?}。形式上，該模塊可以表示為：
$$\begin{gathered} H_t=\sum _{k=1}^K{\omega }_{{\tau }_k}(H_t{)}_{{\tau }_k}, \\ {\omega }_{{\tau }_1},...,{\omega }_{{\tau }_k}=\text{Softmax}(L(H)), \\ {H}_s=H?H_t \end{gathered}$$
其中，$(H_t{)}_{{\tau }_k}$ 表示核大小為 ${\tau }_k$ 的趨勢成分，$\text{Softmax}(L(H))$ 是從輸入中學(xué)習(xí)到的用于混合這些提取的趨勢成分的權(quán)重。詳細(xì)過程見算法1。

Algorithm 1

2.4 季節(jié)性成分調(diào)整模塊

如圖 2 所示，作者提出了季節(jié)性成分調(diào)整模塊，以進(jìn)一步確保分解后的季節(jié)性成分的魯棒性。

前文中提出的Robdecomp模塊可以在一定程度上緩解分布偏移問題。然而，去除趨勢成分后，$H_s$ 可以被視為“污染的季節(jié)性成分”，因?yàn)樗赡苁艿礁鞣N類型的噪聲或異常值的污染。這是因?yàn)闆]有進(jìn)行噪聲去除或異常檢測的預(yù)處理操作。一般來說，傳統(tǒng)的解決方法是通過使用平均季節(jié)性模式來調(diào)整季節(jié)性成分以去除水平偏移。然而，現(xiàn)實(shí)世界中的季節(jié)性成分通常在幅度和相位上不規(guī)則地變化，這意味著以往的方法會(huì)導(dǎo)致對(duì)季節(jié)性成分中復(fù)雜信息的忽略。

為了在不犧牲信息利用的情況下提取穩(wěn)健的季節(jié)性成分，作者提出通過逐步學(xué)習(xí)數(shù)據(jù)依賴的權(quán)重來調(diào)整“污染的季節(jié)性成分”，以調(diào)整季節(jié)性成分中相同相位位置的觀測值。

首先，假設(shè) $T$ 是周期長度，注意如果有多個(gè)潛在的周期長度，選擇最大的一個(gè)。數(shù)學(xué)上，對(duì)于分解后的季節(jié)性序列 $\{(H_s{)}_1,H_s{)}_2,...,H_s{)}_N\}$，可以按如下方式調(diào)整序列：
$$\begin{gathered} \tilde{H}=\{\begin{array}{ll}(H_s{)}_N& N\leqq T\\ {\sum }_{k=0}^K{\omega }_{{\tau }_k}(H_s{)}_{N?kT}& N>T,\end{array} \\ {\omega }_{{\tau }_0},...,{\omega }_{{\tau }_k}=\text{Softmax}(L(H)), \end{gathered}$$
其中，$\tilde{H}$ 是調(diào)整后的季節(jié)性成分，$\text{Softmax}(L(H))$ 是用于組合相關(guān)觀測值以調(diào)整分解后的季節(jié)性序列中每個(gè)值的可學(xué)習(xí)權(quán)重。需要注意的是，在 LTTF 條件下，輸入序列 N 的長度通常接近周期長度，因此可以根據(jù)編碼器或解碼器中的分解塊數(shù)量來等分 T，以提高該方法的可用性，因?yàn)橐苿?dòng)平均法具有疊加效果。這意味著，如果解碼器中的分解塊數(shù)量為 M，可以使用 $?T/M?$ 而不是參數(shù)T來調(diào)整季節(jié)性成分。詳細(xì)描述可以見算法2。

Algorithm 2

受益于對(duì)相同相位位置觀測值的約束，季節(jié)性成分調(diào)整模塊可以在一定程度上減輕水平偏移和異常值的干擾，從而使 Transformer 能夠進(jìn)行更準(zhǔn)確的預(yù)測。

Fig.3 RobTF block