開篇

深度學(xué)習(xí)的發(fā)展為我們創(chuàng)建下一代時間序列預(yù)測模型提供了強(qiáng)大的工具。深度人工神經(jīng)網(wǎng)絡(luò)，作為一種完全以數(shù)據(jù)驅(qū)動的方式學(xué)習(xí)時間動態(tài)的方法，特別適合尋找輸入和輸出之間復(fù)雜的非線性關(guān)系的挑戰(zhàn)。最初，循環(huán)神經(jīng)網(wǎng)絡(luò)及其擴(kuò)展的LSTM網(wǎng)絡(luò)被設(shè)計用于處理時間序列中的順序信息。然后，卷積神經(jīng)網(wǎng)絡(luò)被用于預(yù)測時間序列，因為它們在圖像分析任務(wù)中的成功。

Transformer模型隨后于2017年由谷歌發(fā)布(Vaswani et al.， 2017)，其設(shè)計目的是使用注意力機(jī)制處理序列數(shù)據(jù)，以解決自然語言處理（如機(jī)器翻譯）中的序列學(xué)習(xí)問題。本質(zhì)上，Transformer模型使我們能夠?qū)⒁粋€域的輸入序列轉(zhuǎn)換為另一個域的輸出序列。例如，我們可以使用Transformer模型訓(xùn)練機(jī)器人將英語句子翻譯成法語。打個比方，如果我們把時間序列的一個片段看作是一種語言的句子，下面的片段看作是另一種語言的句子，那么這個多步時間序列預(yù)測問題也是一個序列學(xué)習(xí)問題。因此，Transformer模型也可用于解決時間序列分析中的預(yù)測問題。如Wen et al.(2022)所述，Transformer模型的許多變種已成功應(yīng)用于時間序列預(yù)測任務(wù)，如Li et al.(2019)和Zhou et al.(2021)。隨著Transformer模型架構(gòu)的提出，深度學(xué)習(xí)在時間序列預(yù)測的應(yīng)用也越來越廣泛。針對時間序列預(yù)測存在的難點(diǎn)，越來越多的Transformer的架構(gòu)被提出，例如Temporal fusion transformers，Informer，Autoformer及Crossformer等。

Transformer模型使用了seq2seq架構(gòu)，其靈活性允許我們處理更復(fù)雜的序列學(xué)習(xí)問題。**利用注意力機(jī)制，我們可以捕捉序列中元素之間的長期依賴關(guān)系，特別是利用多頭注意力會從不同方面捕捉序列中的信息。**此外，除了我們應(yīng)用于編碼器和解碼器的自注意機(jī)制外，我們還使用另一種注意機(jī)制來捕捉編碼器和解碼器之間的相關(guān)性。由于自關(guān)注機(jī)制不按時間順序分析它們的輸入，Transformer模型不太可能受到消失或爆炸梯度問題的影響。**Transformer模型的另一個優(yōu)點(diǎn)是它們的并行化。**由于采用了多頭注意機(jī)制，Transformer模型中的每個頭都可以捕獲輸入中的元素與不同標(biāo)準(zhǔn)上所有其他元素的關(guān)系。而RNN模型需要將數(shù)據(jù)按時間順序逐一輸入，這使得其無法并行化。

通過理解Transformer模型的注意力機(jī)制原理和seq2seq架構(gòu)，我們可以將這些先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于時間序列預(yù)測，特別是多時段多元時間序列預(yù)測，如下圖所示。在這類任務(wù)中，我們不僅需要學(xué)習(xí)時間序列中的時間關(guān)系來為動態(tài)系統(tǒng)的演化建模，還需要學(xué)習(xí)多元數(shù)據(jù)中的空間關(guān)系來理解它們是如何相互影響的。在金融領(lǐng)域，時間序列預(yù)測是一項常見的任務(wù)。

Transformer在金融時序預(yù)測中，一般有兩類應(yīng)用場景：

只使用Encoder做單步預(yù)測

如下所示，如果我們只使用Transformer模型的編碼器部分，并將編碼器輸出直接連接到最后一層，則該模型類似于傳統(tǒng)的RNN的多對一預(yù)測，但采用了自我注意機(jī)制。因此，我們可以在一步預(yù)測問題中使用該模型，就像我們經(jīng)常使用RNN或LSTM等遞歸模型一樣，這些遞歸模型可以完全被編碼器取代，因為它允許更靈活的并行化，更有效的長期記憶，以及更少的消失或爆炸梯度問題。我們還可以通過修改模型最后一層的激活函數(shù)來處理不同的問題，如分類問題，處理回歸問題。

使用全模型（Encoder和Decoder）做多步預(yù)測

傳統(tǒng)的多步預(yù)測有兩種方式，包括迭代法和直接預(yù)測法（如下圖所示），無論是使用迭代法還是直接法，一步預(yù)測模型都難以應(yīng)用于多步預(yù)測任務(wù)。由于Transformer模型中的seq2seq架構(gòu)，我們可以使用這些模型來處理多步預(yù)測問題。

金融時序預(yù)測存在的問題

在投資領(lǐng)域，投資組合構(gòu)建中最困難也是最重要的任務(wù)之一就是對未來收益的預(yù)測。我們還認(rèn)為，機(jī)器學(xué)習(xí)模型可能會給量化投資帶來一些計算優(yōu)勢，例如捕捉非線性關(guān)系和時間依賴性的能力。例如，Cherief等人(2022年)使用基于樹的機(jī)器學(xué)習(xí)算法來捕獲非線性，并檢測歐元和美元信貸空間中風(fēng)險因素之間的相互影響。

然而，我們認(rèn)為，機(jī)器學(xué)習(xí)模型的成功應(yīng)用需要滿足許多條件：數(shù)據(jù)必須干凈，數(shù)據(jù)量也必須足夠，數(shù)據(jù)中呈現(xiàn)的模式必須持久，模型的復(fù)雜性必須適當(dāng)，訓(xùn)練的質(zhì)量也必須非常好。

在實(shí)踐中，由于金融時間序列數(shù)據(jù)與文本或圖像等其他領(lǐng)域的數(shù)據(jù)存在差異，我們往往無法滿足上述所有條件。主要的問題有：

低信噪比

與圖像處理或自然語言處理等傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)用例不同，金融數(shù)據(jù)中的信噪比非常低。換句話說，數(shù)據(jù)中有太多的噪音，因此系統(tǒng)不夠可預(yù)測。值得指出的是，如果我們考慮一個分類或回歸問題，噪聲不僅存在于特征中，也存在于標(biāo)簽中。例如，我們可以將資產(chǎn)的回報看作是預(yù)期回報和噪聲的總和。我們可以很容易地從市場數(shù)據(jù)中觀察到已實(shí)現(xiàn)的回報，但要知道真正的預(yù)期回報是什么是非常困難的，特別是在噪聲非常強(qiáng)的情況下。

市場是不斷發(fā)展的

這就是為什么“體制轉(zhuǎn)換（Regime Shift）”一詞被用來描述金融體系中幾個組成部分之間的相互聯(lián)系的變化。作為一個經(jīng)典的例子，我們用擴(kuò)張或衰退來描述經(jīng)濟(jì)周期的不同機(jī)制，用牛市或熊市來描述金融市場周期。為了訓(xùn)練一個魯棒的機(jī)器學(xué)習(xí)模型，除了確保訓(xùn)練和驗證數(shù)據(jù)集具有類似的分布外，我們還必須確保未來的數(shù)據(jù)也遵循相同的分布。對于大多數(shù)金融數(shù)據(jù)，這兩點(diǎn)很難實(shí)現(xiàn)。因此，如果我們希望有一個可以適應(yīng)當(dāng)前制度的機(jī)器學(xué)習(xí)模型，用于訓(xùn)練模型的輸入不應(yīng)該包括太舊的數(shù)據(jù)。

金融行業(yè)的數(shù)據(jù)量較少

主要問題是，所有的金融數(shù)據(jù)都是隨機(jī)和非平穩(wěn)的，這使得很難通過跟蹤金融市場的時間動態(tài)的實(shí)驗產(chǎn)生新的數(shù)據(jù)。此外，規(guī)模限制不僅來自特征，而且往往來自標(biāo)簽，因為我們更希望能夠直接預(yù)測有有限觀察的金融資產(chǎn)的回報。例如，如果我們有一項金融資產(chǎn)的20年日回報率，那么也只有大約5000個數(shù)據(jù)點(diǎn)，分布在不同的市場Regime中。對于一些極端事件，發(fā)生的次數(shù)要低得多，如金融危機(jī)、新冠肺炎等。這個數(shù)量級的數(shù)據(jù)相對于其參數(shù)數(shù)量來說不足以訓(xùn)練一個深度學(xué)習(xí)模型，特別是在多元的情況下。因此，除了上一段介紹的原因外，用于訓(xùn)練模型的數(shù)據(jù)集的容量經(jīng)常受到限制。

怎么權(quán)衡模型的復(fù)雜性

當(dāng)我們在量化投資中使用機(jī)器學(xué)習(xí)技術(shù)時，**特別是做資產(chǎn)收益的分類或回歸時，我們往往會將所有特征輸入一個復(fù)雜的深度學(xué)習(xí)模型，希望捕捉金融數(shù)據(jù)中的非線性關(guān)系和復(fù)雜結(jié)構(gòu)。**基于我們之前提到的機(jī)器學(xué)習(xí)在金融應(yīng)用中的三個問題，我們很容易犯兩個錯誤:

1、由于金融領(lǐng)域的數(shù)據(jù)質(zhì)量和數(shù)量不如許多其他使用機(jī)器學(xué)習(xí)技術(shù)的領(lǐng)域，模型的準(zhǔn)確性將不夠高，以確定模型是否良好和穩(wěn)健。特別是，我們用于機(jī)器學(xué)習(xí)的標(biāo)簽，例如資產(chǎn)回報的正負(fù)符號，非常不穩(wěn)定、嘈雜，有時是錯誤的。因此，使用這些低質(zhì)量的標(biāo)簽和復(fù)雜的模型將導(dǎo)致模型一無所獲或過擬合。

2、根據(jù)我們的經(jīng)驗，我們發(fā)現(xiàn)，在沒有足夠數(shù)據(jù)進(jìn)行訓(xùn)練的情況下，使用復(fù)雜的深度學(xué)習(xí)模型會有更強(qiáng)調(diào)某些特征的趨勢，這意味著模型往往會過度擬合。在這種情況下，我們將面臨失去多元化的問題，這是量化投資中最重要的一點(diǎn)之一。

**因此，在我們無法顯著提高模型精度的情況下，使用具有非常多特征的復(fù)雜深度學(xué)習(xí)模型的樣本外性能往往低于傳統(tǒng)的基于規(guī)則的模型，因為在試圖捕獲數(shù)據(jù)中更復(fù)雜的關(guān)系時，我們同樣失去了利用多樣化的機(jī)會。**因此，我們認(rèn)為，我們應(yīng)該在模型復(fù)雜性和多樣化之間選擇一個平衡。受集成學(xué)習(xí)中弱學(xué)習(xí)器概念的啟發(fā)，**我們在實(shí)踐中傾向于訓(xùn)練許多結(jié)構(gòu)簡單、使用較少特征的弱模型。**然后，我們通過加權(quán)所有模型的預(yù)測來構(gòu)建一個強(qiáng)大的模型，而不僅僅是訓(xùn)練一個復(fù)雜的機(jī)器學(xué)習(xí)模型。此外，我們選擇了不同類型的弱模型，因為我們希望它們從不同方面獲得有用的信息。在訓(xùn)練各類弱模型時，我們應(yīng)盡可能少地使用參數(shù)/超參數(shù)以避免過擬合，同時使用不同的超參數(shù)集以獲得更穩(wěn)健的結(jié)果。使用較少的特征來訓(xùn)練模型的另一個優(yōu)勢是，使用相對較少的數(shù)據(jù)，即使使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，也可以很好地訓(xùn)練模型。

使用來自金融領(lǐng)域的數(shù)據(jù)構(gòu)建非常復(fù)雜的機(jī)器學(xué)習(xí)模型是極其困難的，因為用于訓(xùn)練模型的數(shù)據(jù)包含許多缺陷。**因此，我們的目標(biāo)是犧牲模型的復(fù)雜性，以獲得更好的校準(zhǔn)和預(yù)測質(zhì)量，這意味著模型與財務(wù)數(shù)據(jù)擬合的難度更小，樣本外誤差更小。**我們認(rèn)為，這是一個非常適合機(jī)器學(xué)習(xí)在量化投資中的應(yīng)用的解決方案，在量化投資中，數(shù)據(jù)的質(zhì)量和數(shù)量相對低于行業(yè)，我們無法找到一個明確的規(guī)律來全面描述市場中的行動。模型復(fù)雜性的犧牲將通過量化投資的多樣化得到補(bǔ)償。因此，當(dāng)我們希望應(yīng)用傳統(tǒng)的機(jī)器學(xué)習(xí)模型或深度學(xué)習(xí)模型來預(yù)測資產(chǎn)的未來回報時，我們更傾向于使用結(jié)構(gòu)簡單、特征較少的低復(fù)雜度模型，例如Transformer模型，其編碼器和解碼器部分的深度較小，使用兩到三個特征作為輸入。在這種情況下，人們?nèi)匀皇褂蒙疃葘W(xué)習(xí)模型，是為了利用它們處理時間序列和捕獲數(shù)據(jù)中的長期記憶的能力，而不是利用它們的能力來擬合具有非常深結(jié)構(gòu)的復(fù)雜非線性關(guān)系。

這種方法，在保持多樣化原則的基礎(chǔ)上，與Vapinik-Chervonenkis理論是一致的，該理論試圖為學(xué)習(xí)過程提供統(tǒng)計解釋。根據(jù)Vapnik(2000)，在訓(xùn)練機(jī)器學(xué)習(xí)模型時，我們需要在模型復(fù)雜性、校準(zhǔn)質(zhì)量和預(yù)測質(zhì)量之間找到平衡。在深度學(xué)習(xí)的背景下，模型復(fù)雜度是指模型中使用的參數(shù)數(shù)量，如神經(jīng)網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)等。更多的參數(shù)意味著更復(fù)雜的模型，可以學(xué)習(xí)到數(shù)據(jù)中更復(fù)雜的關(guān)系，但在訓(xùn)練過程中需要更多的數(shù)據(jù)進(jìn)行模型校準(zhǔn)。校準(zhǔn)質(zhì)量是根據(jù)訓(xùn)練誤差和模型的復(fù)雜性來衡量的，為了提高校準(zhǔn)質(zhì)量，數(shù)據(jù)必須相互匹配。例如，過于簡單的模型無法捕獲數(shù)據(jù)中的所有信息，線性模型無法找到訓(xùn)練數(shù)據(jù)集中的非線性關(guān)系，而過于復(fù)雜的模型則需要大量高質(zhì)量的數(shù)據(jù)進(jìn)行訓(xùn)練，這通常是不可能的。預(yù)測質(zhì)量與模型的樣本外誤差有關(guān)，復(fù)雜的模型往往容易發(fā)生過擬合，從而導(dǎo)致較大的樣本外誤差。

Transfomer在量化投資中的案例

案例1：趨勢跟蹤策略（單步預(yù)測）

我們首先看一個單步預(yù)測的案例。在趨勢跟蹤策略的情況下，我們將使用Transformer模型的編碼器部分，使用資產(chǎn)的短期、中期和長期趨勢來預(yù)測資產(chǎn)下周回報的跡象。在我們的例子中，我們沒有將所有這些特征放在一起來訓(xùn)練一個復(fù)雜的模型。我們借鑒了集成學(xué)習(xí)中弱學(xué)習(xí)器的思想，我們將訓(xùn)練許多模型，每個模型都很簡單，只使用一兩個特征。最后，我們將這些弱學(xué)習(xí)器聚集起來，成為一個強(qiáng)學(xué)習(xí)器。

我們采用logistic回歸、支持向量機(jī)和帶有注意力機(jī)制的編碼器等不同模型，對各資產(chǎn)下周的超額收益進(jìn)行分類預(yù)測（是一個分類模型）。對于每個模型，我們用一兩個特征訓(xùn)練弱學(xué)習(xí)器，并將所有弱學(xué)習(xí)器的結(jié)果進(jìn)行聚合，以構(gòu)建一個強(qiáng)學(xué)習(xí)器。為避免選擇偏差，我們用5個經(jīng)典回溯窗口(1個月、2個月、3個月、6個月、12個月)計算資產(chǎn)的短期、中期、長期的收益率作為模型的特征集。

該回測的目的是說明在將機(jī)器學(xué)習(xí)模型應(yīng)用于量化投資時，模型復(fù)雜性和多樣化之間權(quán)衡的重要性，并測試機(jī)器學(xué)習(xí)模型是否可以在數(shù)據(jù)中捕獲更多的信息。我們使用不同的模型從數(shù)據(jù)的不同方面獲取信息：

1、基準(zhǔn)策略相當(dāng)于一個線性分類器，只訓(xùn)練一個特征，例如，12個月的動量，閾值設(shè)置為0.9。

2、邏輯回歸也建立一個線性分類器訓(xùn)練上只有一個特征，但閾值是從數(shù)據(jù)中學(xué)習(xí)。

3、為了使用支持向量機(jī)中使用的RBF核（徑向基函數(shù)核）捕捉數(shù)據(jù)中的非線性關(guān)系，我們一次使用兩個特征訓(xùn)練一個模型，比如1個月和12個月的動量。當(dāng)我們有5個特征時，我們必須訓(xùn)練10個模型。

4、我們還對編碼器進(jìn)行了多頭注意機(jī)制的訓(xùn)練，以捕獲時間序列維度的信息。用于校準(zhǔn)模型的特征仍然是使用5個不同的回顧窗口的趨勢，但這些特征作為時間序列輸入模型。我們將應(yīng)用與之前相同的想法，每個模型也使用兩個特征進(jìn)行訓(xùn)練。

對于每個模型，如果我們需要為模型選擇超參數(shù)，**我們將選擇一組超參數(shù)而不是一個，并對使用不同超參數(shù)的所有模型的預(yù)測結(jié)果進(jìn)行平均。**對于我們采用多頭注意機(jī)制的編碼器，我們采用了2個編碼器塊的簡單結(jié)構(gòu)，由于我們的設(shè)計是只使用少量特征作為輸入來訓(xùn)練模型，所以這個線性層不需要有太多的節(jié)點(diǎn)。

回溯中，我們使用每周再平衡，并將期貨交易成本設(shè)置為2bps。我們每3個月根據(jù)過去3年的觀察數(shù)據(jù)重新校準(zhǔn)機(jī)器學(xué)習(xí)模型。由于模型訓(xùn)練過程中的隨機(jī)效應(yīng)，我們在每個重校準(zhǔn)日期在同一訓(xùn)練數(shù)據(jù)集上訓(xùn)練多個模型，然后對所有模型的預(yù)測結(jié)果進(jìn)行平均。以下是不同類型模型的回測結(jié)果：

從上圖中，我們注意到所有使用機(jī)器學(xué)習(xí)模型的策略相對于基準(zhǔn)策略的表現(xiàn)有很大不同。Logistic回歸和SVM模型的Sharpe比率與基準(zhǔn)策略相當(dāng)，具有多頭注意力機(jī)制的編碼器優(yōu)于所有其他模型。所有策略都有相同的波動水平和最大回撤。我們的三個機(jī)器學(xué)習(xí)模型具有不同級別的模型復(fù)雜性，并使用不同數(shù)量的特征進(jìn)行訓(xùn)練。在這方面，模型越復(fù)雜，就越有可能捕獲數(shù)據(jù)中的有用信息。我們在回測中觀察到2020年之后，所有機(jī)器學(xué)習(xí)模型都在掙扎，在這個時期，Covid-19、高通脹、加息、股票和債券之間的高度相關(guān)性以及俄羅斯-烏克蘭戰(zhàn)爭使金融市場比以往任何時候都不同。

由于樣本外誤差較大，模型越復(fù)雜，我們在這一時期的表現(xiàn)就越差。這就是為什么編碼器模型在2021年后迅速下降的原因。在這種情況下，可行的選擇是增加模型重新校準(zhǔn)的頻率，并在訓(xùn)練過程中使用更近期的數(shù)據(jù)，以快速適應(yīng)實(shí)際的市場情況。回測結(jié)果表明，使用機(jī)器學(xué)習(xí)模型可以在數(shù)據(jù)中捕獲更多有用的信息來預(yù)測未來的收益，因此我們可以嘗試通過在模型中添加一些宏觀因素來改進(jìn)策略。

在下圖中，我們展示了基準(zhǔn)策略和集合策略的比較，**集合策略結(jié)合了3種機(jī)器學(xué)習(xí)策略和基準(zhǔn)策略，采用了風(fēng)險平價方法。**集合策略的表現(xiàn)優(yōu)于基準(zhǔn)策略，夏普比率更高，最大跌幅更低。這一結(jié)果表明，機(jī)器學(xué)習(xí)模型可能在量化投資方面提供一些計算優(yōu)勢。特別是確認(rèn)了我們策略設(shè)計的關(guān)鍵思想，即訓(xùn)練許多弱機(jī)器學(xué)習(xí)模型來構(gòu)建強(qiáng)學(xué)習(xí)者，以確保模型復(fù)雜性和保持多樣化之間的平衡。

案例2：組合優(yōu)化（多步預(yù)測）

對于多期投資組合優(yōu)化問題，我們將使用全Transformer模型對波動率時間序列進(jìn)行多期預(yù)測，并將這些預(yù)測作為平均方差優(yōu)化方法和風(fēng)險預(yù)算方法等投資組合配置方法的輸入。我們將比較單期最優(yōu)投資組合、基于歷史估計的多期最優(yōu)投資組合和基于Transformer預(yù)測的多期最優(yōu)投資組合之間的差異。

對于多期的組合優(yōu)化，目標(biāo)是最大化未來h期的效用。如上述等式中， 是 期的持倉權(quán)重向量， 是未來h期的持倉權(quán)重。 是效用函數(shù)。假設(shè)以上優(yōu)化求解的問題的解為 。但實(shí)際上在 時刻，我們最看重 ，因為 會在 根據(jù)最新的信息進(jìn)行更新。

然而，多期投資組合優(yōu)化模型在實(shí)踐中應(yīng)用較少。一個原因是，準(zhǔn)確估計多個時期甚至一個時期的回報/風(fēng)險可能是相當(dāng)具有挑戰(zhàn)性的。在MVO模型的框架下，我們需要估計投資組合中資產(chǎn)的預(yù)期收益向量μ和方差-協(xié)方差（VCV）矩陣Σ。此外，VCV矩陣可以分為波動率向量和協(xié)方差矩陣。經(jīng)驗上，預(yù)期收益向量被認(rèn)為是MVO模型中這三種輸入中最難估計的，而協(xié)方差矩陣通常被認(rèn)為比預(yù)期收益和波動率更穩(wěn)定。因此，波動率預(yù)測是定量研究中的一個重要問題。

波動性作為衡量市場風(fēng)險的標(biāo)準(zhǔn)，被廣泛應(yīng)用于整個金融行業(yè)的各種應(yīng)用中。特別地，所有傳統(tǒng)的投資組合構(gòu)建方法都將資產(chǎn)的波動性作為模型的輸入，無論是均值-方差優(yōu)化方法還是風(fēng)險平價/風(fēng)險預(yù)算方法。波動率預(yù)測問題的核心可以看作是一個時間序列預(yù)測問題。在我們的研究中，我們將利用Transformer模型中的注意力機(jī)制和seq2seq架構(gòu)來解決這些問題。

在實(shí)驗中，我們并沒有直接使用Transformer模型預(yù)測整個VCV矩陣，而是分別預(yù)測各資產(chǎn)的波動率，然后使用1年歷史資產(chǎn)收益率和預(yù)測的波動率構(gòu)建協(xié)方差矩陣構(gòu)建VCV矩陣。其原因是Transformer模型不能保證返回正的半定矩陣，而多元時間序列預(yù)測需要模型中更復(fù)雜的結(jié)構(gòu)和更多的數(shù)據(jù)來訓(xùn)練模型。因此，通常很難獲得好的結(jié)果。

策略的調(diào)倉期是月度調(diào)倉，但我們使用周度的數(shù)據(jù)進(jìn)行波動率預(yù)測，也就是需要一次預(yù)測未來四個周的波動率（如下圖所示），這正是一個多步預(yù)測模型。

在我們的實(shí)驗中，我們考慮了三種不同的投資組合配置方法：

1、基于MVO的每月調(diào)倉

2、基于風(fēng)險平價每月調(diào)倉

3、基于多期MVO的每周調(diào)倉

下圖展示了回測結(jié)果。鑒于我們的測試期恰逢Covid-19和俄烏戰(zhàn)爭造成的經(jīng)濟(jì)挑戰(zhàn)期，而所有三個投資組合都是只做多的投資組合，它們都在2022年經(jīng)歷了重大損失。**然而，使用Transformer模型的預(yù)測作為輸入的投資組合的業(yè)績優(yōu)于使用歷史估計的投資組合。**使用Transformer模型的投資組合具有更高的Sharpe比率。我們的每周再平衡多期MVO投資組合表現(xiàn)優(yōu)于單期MVO投資組合。由于風(fēng)險平價投資組合僅使用VCV矩陣的估計作為輸入，故我們不包括模型中對回報的估計誤差，這些誤差通常較VCV矩陣更難估計。因此，在這一經(jīng)濟(jì)充滿挑戰(zhàn)的時期，風(fēng)險平價投資組合的表現(xiàn)優(yōu)于MVO投資組合。

最后

正如我們在本文中描述的那樣，在金融中應(yīng)用機(jī)器學(xué)習(xí)技術(shù)時的主要困難是金融數(shù)據(jù)中的信噪比往往較弱。因此，下一階段的研究重點(diǎn)是金融數(shù)據(jù)的去噪和標(biāo)注，這是機(jī)器學(xué)習(xí)技術(shù)在金融領(lǐng)域成功應(yīng)用的關(guān)鍵。特征工程對于時間序列預(yù)測也很重要，我們可以通過模式分解技術(shù)將時間序列分解為趨勢、季節(jié)性和噪聲成分。將這些方法與深度學(xué)習(xí)模型結(jié)合使用是一個有趣的研究課題。其次，正如我們在關(guān)于圖神經(jīng)網(wǎng)絡(luò)的工作論文(Pacreau et al.， 2021)中描述的那樣，注意機(jī)制也被用于圖注意層(GAT)中，以捕獲數(shù)據(jù)維度之間的底層關(guān)系。因此，嘗試將Transformer模型和圖神經(jīng)網(wǎng)絡(luò)(GNNs)相結(jié)合，來管理多元的、時空的時間序列數(shù)據(jù)，如流量預(yù)測，是很有效的。一些研究人員聲稱，這種模型組合可以提高性能，并在時空時間序列預(yù)測中更好地理解數(shù)據(jù)的因果關(guān)系，如Cai et al.(2020)和Xu et al.(2020)。

在金融領(lǐng)域，多家公司之間的關(guān)聯(lián)關(guān)系或供應(yīng)鏈關(guān)系可以看作是一種空間關(guān)系。因此，將Transformer和GNN結(jié)合起來，對時間序列的動態(tài)和維度之間的依賴性進(jìn)行建模是我們未來研究的一個重要途徑。這將為一個新的研究領(lǐng)域打開大門，以捕捉財務(wù)數(shù)據(jù)中更復(fù)雜的關(guān)系，并改進(jìn)量化投資策略。

?

如何學(xué)習(xí)AI大模型？

作為一名熱心腸的互聯(lián)網(wǎng)老兵，我決定把寶貴的AI知識分享給大家。 至于能學(xué)習(xí)到多少就看你的學(xué)習(xí)毅力和能力了 。我已將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書籍手冊、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來。

這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN，朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】

一、全套AGI大模型學(xué)習(xí)路線

AI大模型時代的學(xué)習(xí)之旅：從基礎(chǔ)到前沿，掌握人工智能的核心技能！

二、640套AI大模型報告合集

這套包含640份報告的合集，涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個方面。無論您是科研人員、工程師，還是對AI大模型感興趣的愛好者，這套報告合集都將為您提供寶貴的信息和啟示。

三、AI大模型經(jīng)典PDF籍

隨著人工智能技術(shù)的飛速發(fā)展，AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型，如GPT-3、BERT、XLNet等，以其強(qiáng)大的語言理解和生成能力，正在改變我們對人工智能的認(rèn)識。 那以下這些PDF籍就是非常不錯的學(xué)習(xí)資源。

四、AI大模型商業(yè)化落地方案

作為普通人，入局大模型時代需要持續(xù)學(xué)習(xí)和實(shí)踐，不斷提高自己的技能和認(rèn)知水平，同時也需要有責(zé)任感和倫理意識，為人工智能的健康發(fā)展貢獻(xiàn)力量。