---

導(dǎo)讀：Alluxio作為一款強大的分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)，已經(jīng)在眾多領(lǐng)域展現(xiàn)出了其卓越的應(yīng)用價值，并且為AI/ML訓(xùn)練賦能提供了一個全新的解決方案。

大模型賽道如何實現(xiàn)華麗的彎道超車 —— AI/ML訓(xùn)練賦能解決方案

在人工智能（AI）和機器學(xué)習(xí)（ML）領(lǐng)域，數(shù)據(jù)驅(qū)動的決策和模型訓(xùn)練已成為現(xiàn)代應(yīng)用和研究的核心。伴隨大模型技術(shù)迅猛發(fā)展，模型訓(xùn)練所需數(shù)據(jù)的規(guī)模不斷擴大，數(shù)據(jù)的處理、存儲和傳輸都面臨著巨大的挑戰(zhàn)，傳統(tǒng)的存儲和處理方式已經(jīng)無法滿足實時性和性能需求。同時，不同計算框架之間的數(shù)據(jù)孤島問題也制約了數(shù)據(jù)的有效利用。如何在激烈競爭的大模型賽道脫穎而出，實現(xiàn)華麗的彎道超車，成為了眾多參賽選手投入巨大人力、物力不斷探索的方向。

而這其中，模型訓(xùn)練成為重中之重。當(dāng)我們進行模型訓(xùn)練時，需要高效的數(shù)據(jù)平臺架構(gòu)快速生成分析結(jié)果，而模型訓(xùn)練在很大程度上依賴于大型數(shù)據(jù)集。執(zhí)行所有模型訓(xùn)練的第一步都是將訓(xùn)練數(shù)據(jù)從存儲輸送到計算引擎的集群，而數(shù)據(jù)工作流的效率會大大影響模型訓(xùn)練的效率。在現(xiàn)實場景中，AI/ML 模型訓(xùn)練任務(wù)對數(shù)據(jù)平臺常常有以下幾個需求：

01 具備對海量小文件的頻繁數(shù)據(jù)訪問的 I/O 效率

AI/ML 工作流不僅包含模型訓(xùn)練和推理，還包括前期的數(shù)據(jù)加載和預(yù)處理步驟，尤其是前期數(shù)據(jù)處理對整個工作流都有很大影響。與傳統(tǒng)的數(shù)據(jù)分析應(yīng)用相比，AI/ML 工作負載在數(shù)據(jù)加載和預(yù)處理階段往往對海量小文件有較頻繁的 I/O 請求。因此，數(shù)據(jù)平臺需要提供更高的 I/O 效率，從而更好地為工作流提速。

02 提高 GPU 利用率，降低成本并提高投資回報率

機器學(xué)習(xí)模型訓(xùn)練是計算密集型的，需要消耗大量的 GPU 資源，從而快速準(zhǔn)確地處理數(shù)據(jù)。由于 GPU 價格昂貴，因此優(yōu)化 GPU 的利用率十分重要。這種情況下，I/O 就成為了瓶頸——工作負載受制于 GPU 的數(shù)據(jù)供給速度，而不是GPU 執(zhí)行訓(xùn)練計算的速度。數(shù)據(jù)平臺需要達到高吞吐量和低延遲，讓 GPU 集群完全飽和，從而降低成本。

03 支持各種存儲系統(tǒng)的原生接口

隨著數(shù)據(jù)量的不斷增長，企業(yè)很難只使用單一存儲系統(tǒng)。不同業(yè)務(wù)部門會使用各類存儲，包括本地分布式存儲系統(tǒng)（HDFS和Ceph）和云存儲（AWS S3，Azure Blob Store，Google 云存儲等）。為了實現(xiàn)高效的模型訓(xùn)練，必須能夠訪問存儲于不同環(huán)境中的所有訓(xùn)練數(shù)據(jù)，用戶數(shù)據(jù)訪問的接口最好是原生的。

04 支持單云、混合云和多云部署

除了支持不同的存儲系統(tǒng)外，數(shù)據(jù)平臺還需要支持不同的部署模式。隨著數(shù)據(jù)量的增長，云存儲成為普遍選擇，它可擴展性高，成本低且易于使用。企業(yè)希望不受限制地實現(xiàn)單云、混合云和多云部署，實現(xiàn)靈活和開放的模型訓(xùn)練。另外，計算與存儲分離的趨勢也越來越明顯，這會造成遠程訪問存儲系統(tǒng)，這種情況下數(shù)據(jù)需要通過網(wǎng)絡(luò)傳輸，帶來性能上的挑戰(zhàn)。數(shù)據(jù)平臺需要滿足在跨異構(gòu)環(huán)境訪問數(shù)據(jù)時也能達到高性能的要求。

綜上，AI/ML 工作負載要求能在各種類型的異構(gòu)環(huán)境中以低成本快速訪問大量數(shù)據(jù)。企業(yè)需要不斷優(yōu)化升級數(shù)據(jù)平臺，確保模型訓(xùn)練的工作負載在能夠有效地訪問數(shù)據(jù)，保持高吞吐量和高 GPU 利用率 。

Alluxio 作為一款強大的分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)，已經(jīng)在眾多領(lǐng)域展現(xiàn)出了其卓越的應(yīng)用價值，并且為AI/ML訓(xùn)練賦能提供了一個全新的解決方案，其核心密碼有四個方面組成：

01 通過數(shù)據(jù)抽象化統(tǒng)一數(shù)據(jù)孤島

Alluxio作為數(shù)據(jù)抽象層，可以做到數(shù)據(jù)無縫訪問而不拷貝和移動數(shù)據(jù)，無論是在本地還是在云上的數(shù)據(jù)都留在原地。通過Alluxio，數(shù)據(jù)被抽象化從而呈現(xiàn)統(tǒng)一的視圖，大大降低數(shù)據(jù)收集階段的復(fù)雜性。

由于Alluxio已經(jīng)實現(xiàn)與存儲系統(tǒng)的集成，機器學(xué)習(xí)框架只需與Alluxio交互即可從其連接的任何存儲中訪問數(shù)據(jù)。因此，我們可以利用來自任何數(shù)據(jù)源的數(shù)據(jù)進行訓(xùn)練，提高模型訓(xùn)練質(zhì)量。在無需將數(shù)據(jù)手動移動到某一集中的數(shù)據(jù)源的情況下，包括Spark、Presto、PyTorch和TensorFlow在內(nèi)所有的計算框架都可以訪問數(shù)據(jù)，不必擔(dān)心數(shù)據(jù)的存放位置。

02 通過分布式緩存實現(xiàn)數(shù)據(jù)本地性

Alluxio的分布式緩存，讓數(shù)據(jù)均勻地分布在集群中，而不是將整個數(shù)據(jù)集復(fù)制到每臺機器上，如圖1所示。當(dāng)訓(xùn)練數(shù)據(jù)集的大小遠大于單個節(jié)點的存儲容量時，分布式緩存尤其有用，而當(dāng)數(shù)據(jù)位于遠端存儲時，分布式緩存會把數(shù)據(jù)緩存在本地，有利于數(shù)據(jù)訪問。此外，由于在訪問數(shù)據(jù)時不產(chǎn)生網(wǎng)絡(luò)I/O，機器學(xué)習(xí)訓(xùn)練速度更快、更高效。

如上圖所示，對象存儲中存有全部訓(xùn)練數(shù)據(jù)，兩個文件（/path1/file1和/path2/file2）代表數(shù)據(jù)集。我們不在每臺訓(xùn)練節(jié)點上存儲所有文件塊，而是將文件塊分布式地存儲在多臺機器上。為了防止數(shù)據(jù)丟失和提高讀取并發(fā)性，每個塊可以同時存儲在多個服務(wù)器上。

03 優(yōu)化整個工作流的數(shù)據(jù)共享

在模型訓(xùn)練工作中，無論是在單個作業(yè)還是不同作業(yè)之間，數(shù)據(jù)讀取和寫入都有很大程度的重疊。Alluxio可以讓計算框架訪問之前已經(jīng)緩存的數(shù)據(jù)，供下一步的工作負載進行讀取和寫入，如圖2所示。比如在數(shù)據(jù)準(zhǔn)備階段使用Spark進行ETL數(shù)據(jù)處理，那么數(shù)據(jù)共享可以確保輸出數(shù)據(jù)被緩存，供后續(xù)階段使用。通過數(shù)據(jù)共享，整個數(shù)據(jù)工作流都可以獲得更好的端到端性能。

04 通過并行執(zhí)行數(shù)據(jù)預(yù)加載、緩存和訓(xùn)練來編排數(shù)據(jù)工作流

Alluxio通過實現(xiàn)預(yù)加載和按需緩存來縮短模型訓(xùn)練的時間。如圖3所示，通過數(shù)據(jù)緩存從數(shù)據(jù)源加載數(shù)據(jù)可以與實際訓(xùn)練任務(wù)并行執(zhí)行。因此，訓(xùn)練在訪問數(shù)據(jù)時將得益于高數(shù)據(jù)吞吐量，不必等待數(shù)據(jù)全部緩存完畢才開始訓(xùn)練。

雖然一開始會出現(xiàn)I/O延遲，但隨著越來越多的數(shù)據(jù)被加載到緩存中，I/O等待時間會減少。在本方案中，所有環(huán)節(jié)，包括訓(xùn)練數(shù)據(jù)集從對象存儲加載到訓(xùn)練集群、數(shù)據(jù)緩存、按需加載用于訓(xùn)練的數(shù)據(jù)以及訓(xùn)練作業(yè)本身，都可以并行地、相互交錯地執(zhí)行，從而極大地加速了整個訓(xùn)練進程。

了解更多Alluxio與AI/ML模型訓(xùn)練傳統(tǒng)方案的對比分析，具體性能測試情況，以及來自廣泛行業(yè)的應(yīng)用案例，歡迎閱讀《分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng)——Alluxio原理、技術(shù)與實踐》。

直播預(yù)告

直播主題

**Alluxio: 加速新一代大數(shù)據(jù)與AI變革 | 《分布式統(tǒng)一大數(shù)據(jù)虛擬文件系統(tǒng) Alluxio原理、技術(shù)與實踐》新書發(fā)布會 **

直播時間

9 月 21日（星期四）20:00 - 21:30

本次直播主要介紹Alluxio的技術(shù)原理、核心功能、使用方法，以及Alluxio在大數(shù)據(jù)分析、AI/ML等場景的實戰(zhàn)案例。

直播觀看方式

微信搜索視頻號：IT閱讀排行榜，預(yù)約直播