本文是時(shí)空領(lǐng)域的統(tǒng)一模型——UniST，無(wú)獨(dú)有偶，時(shí)序有個(gè)統(tǒng)一模型新工作——UniTS，感興趣的讀者也可以閱讀今天發(fā)布的另外一條。

論文標(biāo)題：UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction

作者：Yuan Yuan（苑苑）, Jingtao Ding（丁璟韜）, Jie Feng（馮杰）, Depeng Jin（金德鵬）, Yong Li（李勇）

機(jī)構(gòu)：清華大學(xué)

論文鏈接：https://arxiv.org/abs/2402.11838

Cool Paper：https://papers.cool/arxiv/2402.11838

TL,; DR：本文提出了UniST，一個(gè)基于提示的通用模型，通過(guò)靈活處理多樣化時(shí)空數(shù)據(jù)、有效的生成預(yù)訓(xùn)練和時(shí)空知識(shí)引導(dǎo)的提示，實(shí)現(xiàn)了在多個(gè)城市和領(lǐng)域中的卓越泛化能力和城市時(shí)空預(yù)測(cè)性能。

關(guān)鍵詞：時(shí)空預(yù)測(cè)，通用模型，預(yù)訓(xùn)練，提示微調(diào)，零樣本學(xué)習(xí)，小樣本學(xué)習(xí)
🌟【緊跟前沿】“時(shí)空探索之旅”與你一起探索時(shí)空奧秘！🚀
歡迎大家關(guān)注時(shí)空探索之旅

摘要

城市時(shí)空預(yù)測(cè)對(duì)于交通管理、資源優(yōu)化和城市規(guī)劃等明智決策至關(guān)重要。 盡管預(yù)訓(xùn)練基礎(chǔ)模型在自然語(yǔ)言已經(jīng)取得了顯著的突破，其中通用模型可以處理跨不同領(lǐng)域的多項(xiàng)任務(wù)，但城市時(shí)空建模仍然落后。 現(xiàn)有的城市預(yù)測(cè)方法通常是針對(duì)特定的時(shí)空?qǐng)鼍傲可矶ㄖ频?#xff0c;需要特定于任務(wù)的模型設(shè)計(jì)和廣泛的域內(nèi)訓(xùn)練數(shù)據(jù)。 在這項(xiàng)工作中，提出了一種用于城市時(shí)空預(yù)測(cè)的通用模型 UniST。 從大語(yǔ)言模型中汲取靈感，UniST 通過(guò)以下方式取得成功：(i) 針對(duì)不同時(shí)空數(shù)據(jù)特征的靈活性，(ii) 通過(guò)精心設(shè)計(jì)的掩碼（mask）策略進(jìn)行有效的生成預(yù)訓(xùn)練，以捕獲復(fù)雜的時(shí)空關(guān)系，(iii) 時(shí)空關(guān)系知識(shí)引導(dǎo)的提示，可以跨場(chǎng)景對(duì)齊和利用內(nèi)在的和共享的知識(shí)。 這些設(shè)計(jì)共同釋放了具有強(qiáng)大泛化能力的時(shí)空預(yù)測(cè)的全能（one-for-all）模型的潛力。 在 15 個(gè)城市和 6 個(gè)領(lǐng)域進(jìn)行的廣泛實(shí)驗(yàn)證明了 UniST 在提升最先進(jìn)的預(yù)測(cè)性能方面的普遍性，特別是在小樣本和零樣本場(chǎng)景中。

Q: 這篇論文試圖解決什么問(wèn)題？

A: 這篇論文提出了一個(gè)名為UniST的通用模型，旨在解決城市時(shí)空預(yù)測(cè)的問(wèn)題。城市時(shí)空預(yù)測(cè)對(duì)于諸如交通管理、資源優(yōu)化和城市規(guī)劃等知情決策至關(guān)重要。盡管自然語(yǔ)言的預(yù)訓(xùn)練基礎(chǔ)模型在處理多種任務(wù)方面取得了顯著突破，但城市時(shí)空建模領(lǐng)域尚未經(jīng)歷類似的進(jìn)步?，F(xiàn)有的城市預(yù)測(cè)方法通常針對(duì)特定的時(shí)空?qǐng)鼍岸ㄖ?#xff0c;需要特定任務(wù)的模型設(shè)計(jì)和大量的領(lǐng)域內(nèi)訓(xùn)練數(shù)據(jù)。UniST模型通過(guò)以下幾個(gè)方面來(lái)解決這些問(wèn)題：

1. 靈活性：UniST能夠適應(yīng)多樣化的時(shí)空數(shù)據(jù)特征。
2. 有效的生成預(yù)訓(xùn)練：通過(guò)精心設(shè)計(jì)的掩碼策略來(lái)捕捉復(fù)雜的時(shí)空關(guān)系。
3. 時(shí)空知識(shí)引導(dǎo)的提示（Spatio-Temporal Knowledge-Guided Prompts）：通過(guò)這些提示在不同場(chǎng)景之間對(duì)齊和利用內(nèi)在的共享知識(shí)。

這些設(shè)計(jì)共同解鎖了一個(gè)適用于所有場(chǎng)景的通用模型的潛力，該模型具有強(qiáng)大的泛化能力。通過(guò)在15個(gè)城市和6個(gè)領(lǐng)域的廣泛實(shí)驗(yàn)，論文展示了UniST在推進(jìn)最先進(jìn)的預(yù)測(cè)性能方面的普遍性，特別是在小樣本（few-shot）和零樣本（zero-shot）場(chǎng)景中。

Q: 有哪些相關(guān)研究？

A: 這篇論文中提到的相關(guān)研究主要集中在以下幾個(gè)方面：

1. 城市時(shí)空預(yù)測(cè)（Urban Spatio-Temporal Prediction）:
   • 利用深度學(xué)習(xí)技術(shù)進(jìn)行城市活動(dòng)動(dòng)態(tài)模式的建模和預(yù)測(cè)，包括CNN、RNN、ResNet、GNN、Transformer、MLP和擴(kuò)散模型等架構(gòu)。
2. 基礎(chǔ)模型（Foundation Models）:
   • 探索自然語(yǔ)言處理（NLP）和計(jì)算機(jī)視覺(jué)（CV）領(lǐng)域的基礎(chǔ)模型在城市場(chǎng)景中的應(yīng)用，如TransGPT、CityGPT、TrafficGPT等，它們?cè)谔幚砘谡Z(yǔ)言的時(shí)空任務(wù)方面表現(xiàn)出色。
3. 提示微調(diào)技術(shù)（Prompt Tuning Techniques）:
   • 在NLP和CV領(lǐng)域中，提示技術(shù)已被證明能夠增強(qiáng)預(yù)訓(xùn)練模型在特定任務(wù)或領(lǐng)域的泛化能力。這項(xiàng)研究與提示微調(diào)相一致，其中時(shí)空提示根據(jù)時(shí)空屬性通過(guò)提示網(wǎng)絡(luò)自適應(yīng)生成。
4. 時(shí)空數(shù)據(jù)和時(shí)間序列:
   • 研究了基礎(chǔ)模型在時(shí)間序列建模中的應(yīng)用，盡管時(shí)間序列通常具有簡(jiǎn)單的1D結(jié)構(gòu)，但時(shí)空數(shù)據(jù)在空間和時(shí)間維度上呈現(xiàn)更復(fù)雜的性質(zhì)。
5. 遷移學(xué)習(xí)和元學(xué)習(xí)（Transfer Learning and Meta-Learning）:
   • 一些研究探索了在城市之間進(jìn)行轉(zhuǎn)移學(xué)習(xí)的方法，但這些方法通常仍需要目標(biāo)城市中的一定量的訓(xùn)練樣本。
6. 模型泛化（Model Generalization）:
   • 論文中提出的UniST模型旨在實(shí)現(xiàn)跨不同城市和領(lǐng)域的訓(xùn)練和預(yù)測(cè)，提供通用解決方案，這與現(xiàn)有解決方案相比是一個(gè)重大突破。

這些相關(guān)研究為UniST模型的提出提供了背景和基礎(chǔ)，UniST模型通過(guò)結(jié)合這些領(lǐng)域的最新進(jìn)展，旨在提高城市時(shí)空預(yù)測(cè)的準(zhǔn)確性和泛化能力。

Q: 論文如何解決這個(gè)問(wèn)題？

包含兩部分：

1. 大規(guī)模時(shí)空預(yù)訓(xùn)練
2. 時(shí)空知識(shí)引導(dǎo)的提示微調(diào)

A: 論文通過(guò)提出UniST模型來(lái)解決城市時(shí)空預(yù)測(cè)的問(wèn)題，具體方法如下：

1. 數(shù)據(jù)收集與處理：
   • 收集來(lái)自多個(gè)城市和領(lǐng)域的豐富時(shí)空數(shù)據(jù)，以確保模型能夠從多樣化的數(shù)據(jù)中學(xué)習(xí)。
   • 使用時(shí)空標(biāo)記器（Spatio-Temporal Tokenizers）將不同形狀的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的序列格式，以便利用Transformer架構(gòu)。
2. 模型架構(gòu)設(shè)計(jì)：
   • 采用基于Transformer的編碼器-解碼器架構(gòu)作為基礎(chǔ)模型。
   • 引入時(shí)空自監(jiān)督預(yù)訓(xùn)練（Spatio-temporal Self-supervised Pretraining），通過(guò)不同的掩碼策略來(lái)增強(qiáng)模型捕捉時(shí)空關(guān)系的能力。
3. 預(yù)訓(xùn)練策略：
   • 采用掩碼token建模（Masked Token Modeling）作為預(yù)訓(xùn)練策略，使用不同的掩碼策略來(lái)捕捉多級(jí)別的時(shí)空關(guān)系。
   • 包括隨機(jī)掩碼、管道掩碼（Tube masking）、塊掩碼（Block masking）和時(shí)間掩碼（Temporal Masking）。
4. 時(shí)空知識(shí)引導(dǎo)的提示微調(diào)：
   • 引入一個(gè)提示網(wǎng)絡(luò)（Prompt Network），該網(wǎng)絡(luò)根據(jù)時(shí)空域知識(shí)生成有用的提示。
   • 定義了空間記憶池和時(shí)間記憶池，用于存儲(chǔ)有關(guān)時(shí)空域知識(shí)的有價(jià)值信息。
   • 通過(guò)優(yōu)化這些記憶池，模型能夠自適應(yīng)地選擇對(duì)預(yù)測(cè)最有用的信息。
5. 實(shí)驗(yàn)驗(yàn)證：
   • 在15個(gè)城市和6個(gè)領(lǐng)域的數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，驗(yàn)證了UniST模型在多種預(yù)測(cè)任務(wù)上的性能。
   • 特別是在小樣本和零樣本場(chǎng)景下，UniST展示了其優(yōu)越的可轉(zhuǎn)移性。

通過(guò)這些方法，UniST模型能夠在不同的城市和領(lǐng)域中實(shí)現(xiàn)強(qiáng)大的泛化能力，即使在只有有限或沒(méi)有訓(xùn)練數(shù)據(jù)的情況下也能進(jìn)行有效的預(yù)測(cè)。這標(biāo)志著從傳統(tǒng)的獨(dú)立方法向預(yù)訓(xùn)練基礎(chǔ)模型轉(zhuǎn)變的一個(gè)重要步驟。

Q: 論文做了哪些實(shí)驗(yàn)？

短時(shí)預(yù)測(cè)：預(yù)測(cè)6步（參考Time-LLM和PatchTST）

長(zhǎng)時(shí)預(yù)測(cè)：預(yù)測(cè)64步（參考Time-LLM和PatchTST）

1%和5%的小樣本，零樣本類似于遷移

A: 論文中進(jìn)行了一系列實(shí)驗(yàn)來(lái)驗(yàn)證UniST模型的性能和通用性，具體包括：

1. 短期預(yù)測(cè)（Short-Term Prediction）:
   • 在多個(gè)時(shí)空數(shù)據(jù)集上評(píng)估UniST模型的短期預(yù)測(cè)性能。
   • 將UniST與其他先進(jìn)的時(shí)空預(yù)測(cè)模型進(jìn)行比較，包括基于啟發(fā)式的方法（如歷史平均HA和ARIMA）、深度城市預(yù)測(cè)方法（如STResNet、ACFM等）、視頻預(yù)測(cè)方法（如PredRNN、MAU等）和多變量時(shí)間序列預(yù)測(cè)方法（如PatchTST、iTransformer等）。
2. 長(zhǎng)期預(yù)測(cè)（Long-Term Prediction）:
   • 擴(kuò)展輸入步長(zhǎng)和預(yù)測(cè)范圍，以評(píng)估模型在捕捉長(zhǎng)期依賴性方面的能力。
   • 同樣與其他模型進(jìn)行比較，以展示UniST在長(zhǎng)期預(yù)測(cè)任務(wù)上的性能。
3. 小樣本預(yù)測(cè)（Few-Shot Prediction）:
   • 在訓(xùn)練過(guò)程中，僅使用1%、5%和10%的訓(xùn)練數(shù)據(jù)，以測(cè)試模型在小樣本情況下的泛化能力。
   • 與具有相對(duì)較好性能的基線模型進(jìn)行比較，以及與元學(xué)習(xí)基線（如MAML和MetaST）和預(yù)訓(xùn)練微調(diào)方法（如PatchTST）進(jìn)行比較。
4. 零樣本預(yù)測(cè)（Zero-Shot Prediction）:
   • 在未見(jiàn)過(guò)的數(shù)據(jù)集上評(píng)估UniST模型，以測(cè)試其在沒(méi)有目標(biāo)城市訓(xùn)練數(shù)據(jù)的情況下的適應(yīng)能力。
   • 與小樣本預(yù)測(cè)設(shè)置下的基線模型進(jìn)行比較，以展示UniST的零樣本學(xué)習(xí)能力。
5. 消融研究（Ablation Study）:
   • 研究了UniST模型中不同組件的影響，特別是空間和時(shí)間提示對(duì)最終性能的貢獻(xiàn)。
   • 通過(guò)移除提示中的特定時(shí)空屬性（如空間接近性、空間層次性、時(shí)間周期性和時(shí)間接近性）來(lái)評(píng)估每個(gè)屬性的重要性。
6. 提示學(xué)習(xí)器分析（Prompt Learner Analysis）:
   • 對(duì)提示學(xué)習(xí)器進(jìn)行深入分析，包括使用t-SNE可視化空間和時(shí)間記憶池中的嵌入，以及分析記憶池中嵌入的模式。
7. 可擴(kuò)展性分析（Scalability Analysis）:
   • 分析模型參數(shù)大小對(duì)訓(xùn)練損失和預(yù)測(cè)性能的影響，以評(píng)估UniST模型的可擴(kuò)展性。

這些實(shí)驗(yàn)結(jié)果表明，UniST在多種預(yù)測(cè)任務(wù)中均取得了先進(jìn)的性能，特別是在小樣本和零樣本場(chǎng)景下，證明了其作為一種通用模型的有效性和適用性。

Q: 有什么可以進(jìn)一步探索的點(diǎn)？

A: 論文提出的UniST模型雖然在城市時(shí)空預(yù)測(cè)方面取得了顯著的成果，但仍有一些方向可以進(jìn)行進(jìn)一步的探索：

1. 多樣化的時(shí)空數(shù)據(jù)格式：
   • 目前UniST主要依賴于基于網(wǎng)格的空間劃分。未來(lái)的研究可以探索如何整合不同類型的時(shí)空數(shù)據(jù)，例如基于序列的數(shù)據(jù)、基于圖的數(shù)據(jù)以及其他非結(jié)構(gòu)化數(shù)據(jù)。
2. 更復(fù)雜的時(shí)空關(guān)系建模：
   • 盡管UniST通過(guò)不同的掩碼策略捕捉了多尺度的時(shí)空關(guān)系，但仍有可能通過(guò)更先進(jìn)的圖網(wǎng)絡(luò)、注意力機(jī)制或其他創(chuàng)新的神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)進(jìn)一步提升模型的時(shí)空建模能力。
3. 跨領(lǐng)域和跨城市的泛化能力：
   • 盡管UniST在多個(gè)城市和領(lǐng)域展示了良好的泛化能力，但進(jìn)一步研究如何提高模型在面對(duì)更大范圍、更多種類的城市數(shù)據(jù)時(shí)的泛化性和適應(yīng)性仍然是一個(gè)有趣的方向。
4. 實(shí)時(shí)預(yù)測(cè)和動(dòng)態(tài)更新：
   • 研究如何將UniST應(yīng)用于實(shí)時(shí)預(yù)測(cè)場(chǎng)景，并探索如何有效地對(duì)模型進(jìn)行動(dòng)態(tài)更新，以適應(yīng)城市動(dòng)態(tài)變化的環(huán)境。
5. 解釋性和可解釋性：
   • 提高模型的解釋性，使決策者能夠理解模型的預(yù)測(cè)結(jié)果背后的原理，這對(duì)于實(shí)際應(yīng)用中的模型部署至關(guān)重要。
6. 模型效率和優(yōu)化：
   • 探索如何減少模型的計(jì)算成本和提高運(yùn)行效率，使其能夠在資源受限的環(huán)境中使用，例如移動(dòng)設(shè)備或邊緣計(jì)算設(shè)備。
7. 多任務(wù)學(xué)習(xí)和持續(xù)學(xué)習(xí)：
   • 研究UniST在多任務(wù)學(xué)習(xí)設(shè)置下的性能，以及如何通過(guò)持續(xù)學(xué)習(xí)來(lái)適應(yīng)新的數(shù)據(jù)分布和預(yù)測(cè)任務(wù)。
8. 模型魯棒性和健壯性：
   • 研究模型在面對(duì)數(shù)據(jù)噪聲、缺失數(shù)據(jù)和異常值時(shí)的魯棒性，并探索提高模型健壯性的方法。
9. 實(shí)際部署和應(yīng)用：
   • 將UniST應(yīng)用于實(shí)際的城市管理系統(tǒng)，評(píng)估其在真實(shí)世界中的性能，并探索與現(xiàn)有城市基礎(chǔ)設(shè)施的集成方法。

這些方向不僅有助于推動(dòng)城市時(shí)空預(yù)測(cè)領(lǐng)域的研究進(jìn)展，還可能為城市規(guī)劃、交通管理和資源優(yōu)化等實(shí)際應(yīng)用帶來(lái)新的解決方案。

Q: 總結(jié)一下論文的主要內(nèi)容

A: 這篇論文的主要內(nèi)容可以總結(jié)如下：

1. 問(wèn)題定義：論文針對(duì)城市時(shí)空預(yù)測(cè)問(wèn)題，提出了一種通用模型UniST，旨在解決現(xiàn)有方法在泛化能力和適應(yīng)性方面的不足。
2. 模型設(shè)計(jì)：UniST模型采用了基于Transformer的編碼器-解碼器架構(gòu)，并通過(guò)時(shí)空標(biāo)記器（Spatio-Temporal Tokenizers）處理多維時(shí)空數(shù)據(jù)。模型包括兩個(gè)階段：大規(guī)模時(shí)空預(yù)訓(xùn)練和時(shí)空知識(shí)引導(dǎo)的提示微調(diào)。
3. 預(yù)訓(xùn)練策略：UniST使用多種掩碼策略進(jìn)行自監(jiān)督預(yù)訓(xùn)練，以捕捉復(fù)雜的時(shí)空關(guān)系，包括隨機(jī)掩碼、管道掩碼、塊掩碼和時(shí)間掩碼。
4. 提示微調(diào)：引入了一種創(chuàng)新的提示機(jī)制，利用時(shí)空知識(shí)引導(dǎo)提示的生成，以適應(yīng)不同的時(shí)空數(shù)據(jù)分布和預(yù)測(cè)任務(wù)。
5. 實(shí)驗(yàn)驗(yàn)證：在多個(gè)城市和領(lǐng)域的15個(gè)數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，包括短期和長(zhǎng)期預(yù)測(cè)、小樣本和零樣本預(yù)測(cè)，證明了UniST在各種預(yù)測(cè)任務(wù)上的優(yōu)越性能。
6. 消融研究和分析：通過(guò)消融研究評(píng)估了模型中不同組件的貢獻(xiàn)，并深入分析了提示學(xué)習(xí)器的行為和模型的可擴(kuò)展性。
7. 未來(lái)方向：論文討論了模型的局限性和未來(lái)可能的研究方向，包括整合多種時(shí)空數(shù)據(jù)格式、提高模型的解釋性、魯棒性和實(shí)際應(yīng)用部署。

總體而言，UniST模型通過(guò)結(jié)合大型語(yǔ)言模型的關(guān)鍵特性，提出了一種新的范式，用于城市時(shí)空預(yù)測(cè)，展示了在多個(gè)城市和領(lǐng)域中的強(qiáng)大泛化能力和適應(yīng)性。

完整實(shí)驗(yàn)結(jié)果

數(shù)據(jù)集相關(guān)信息

短程預(yù)測(cè)完整實(shí)驗(yàn)結(jié)果

兩張表對(duì)應(yīng)不同城市數(shù)據(jù)集

長(zhǎng)程預(yù)測(cè)，少樣本與零樣本

🌟【緊跟前沿】“時(shí)空探索之旅”與你一起探索時(shí)空奧秘！🚀
歡迎大家關(guān)注時(shí)空探索之旅