聯(lián)邦多任務(wù)蒸餾助力多接入邊緣計(jì)算下的個(gè)性化服務(wù) | TPDS 2023

隨著移動(dòng)智能設(shè)備的普及和人工智能技術(shù)的發(fā)展,越來(lái)越多的分布式數(shù)據(jù)在終端被產(chǎn)生與收集，并以多接入邊緣計(jì)算(MEC)的形式進(jìn)行處理和分析。但是由于用戶的行為模式與服務(wù)需求的多樣,不同設(shè)備上的數(shù)據(jù)分布與模型的任務(wù)需求往往存在顯著差異,疊加MEC場(chǎng)景設(shè)備硬件配置高度差異化、通信受限等多重限制，給部署與協(xié)同訓(xùn)練機(jī)器學(xué)習(xí)模型帶來(lái)了挑戰(zhàn)。

針對(duì)這個(gè)問(wèn)題,中科院計(jì)算所、中國(guó)科學(xué)院大學(xué)、中關(guān)村實(shí)驗(yàn)室與北京交通大學(xué)研究團(tuán)隊(duì)在TPDS 2023上提出了一種“聯(lián)邦多任務(wù)蒸餾”方法,在兼顧邊緣計(jì)算場(chǎng)景對(duì)于模型異構(gòu)與低通信開(kāi)銷(xiāo)需求的同時(shí)提升客戶端在多任務(wù)場(chǎng)景的性能。該方法通過(guò)在服務(wù)器和客戶端之間傳遞知識(shí)而不是模型參數(shù),大大減少了通信開(kāi)銷(xiāo)。同時(shí),客戶端可以自主選擇不同的模型架構(gòu),并在此基礎(chǔ)上實(shí)現(xiàn)模型的個(gè)性化優(yōu)化。具體地，通過(guò)引導(dǎo)疏離的設(shè)備端和服務(wù)器端的雙向蒸餾訓(xùn)練過(guò)程,該方法實(shí)現(xiàn)了在資源受限的MEC環(huán)境下,快速高效地訓(xùn)練出對(duì)本地任務(wù)擬合較好的定制化模型。

在圖像識(shí)別與運(yùn)動(dòng)狀態(tài)檢測(cè)上的實(shí)驗(yàn)表明,相比現(xiàn)有方法,該聯(lián)邦多任務(wù)蒸餾在保證收斂速度與通信效率的同時(shí),顯著提升了模型在本地任務(wù)上的表現(xiàn)。

論文鏈接：https://ieeexplore.ieee.org/document/10163770