無論是開源的LLaMA 2還是閉源的GPT系列模型，功能雖然很強大，但對語言的支持和擴展比較差，例如，二者都是以英語為主的大模型。

為了提升大模型語言的多元化，慕尼黑大學(xué)、赫爾辛基大學(xué)等研究人員聯(lián)合開源了，目前支持語言最多的大模型之一MaLA-500。

MaLA-500以LLaMA 2為基礎(chǔ)模型，再用多語言數(shù)據(jù)庫Glot500-c進行語言擴展訓(xùn)練，支持語言達到了驚人的534種。

開源地址：https://huggingface.co/MaLA-LM/mala-500

論文地址：https://arxiv.org/abs/2401.13303

訓(xùn)練數(shù)據(jù)

研究人員選用了開源數(shù)據(jù)集Glot500-c對MaLA-500進行了語言擴展訓(xùn)練。該數(shù)據(jù)集包含了534種語言,涵蓋47種不同種族語言,數(shù)據(jù)量高達2萬億tokens。

研究人員表示，選擇Glot500-c數(shù)據(jù)集的原因在于,可以大幅擴展現(xiàn)有語言模型的語言覆蓋范圍,并包含極其豐富的語言家族,這對于模型學(xué)習(xí)語言內(nèi)在的語法和語義規(guī)律幫助巨大。

此外,雖然一些高資源語言的比例相對較低,但Glot500-c的整體數(shù)據(jù)量對訓(xùn)練大規(guī)模語言模型而言足夠用。在后續(xù)的預(yù)處理中,又對語料數(shù)據(jù)集進行了加權(quán)隨機采樣,以增加低資源語言在訓(xùn)練數(shù)據(jù)中的比例,讓模型更加聚焦特定語言。

基礎(chǔ)模型LLaMA 2

MaLA-500選擇了目前最知名的開源大語言模型之一LLaMA 2-7B作為基礎(chǔ)模型，并進行了兩大技術(shù)點創(chuàng)新。

1）增強詞匯表，研究人員通過Glot500-c數(shù)據(jù)集，訓(xùn)練了一個多語言分詞器,將LLaMA 2的原英文詞匯表擴展到了260萬,大幅增強了模型對非英語和低資源語言的適配能力。

2）模型增強，使用了LoRA技術(shù)在LLaMA 2的基礎(chǔ)上進行低秩適配。只訓(xùn)練適配矩陣而凍結(jié)基礎(chǔ)模型權(quán)重,可以高效地實現(xiàn)模型在新語言上的持續(xù)學(xué)習(xí)能力，同時保留模型原有的知識。

訓(xùn)練流程

訓(xùn)練方面，研究人員用了24張N卡A100 GPU進行訓(xùn)練，并使用了包括Transformers、PEFT和DeepSpeed三個主流深度學(xué)習(xí)框架。

其中,DeepSpeed提供了分布式訓(xùn)練的支持,可以實現(xiàn)模型并行;PEFT實現(xiàn)了高效的模型微調(diào);Transformers提供了模型功能的實現(xiàn)，例如，文本生成、提示詞理解等。

為了提升訓(xùn)練的高效性，MaLA-500還使用了各種顯存和計算優(yōu)化算法,如ZeRO冗余優(yōu)化器,可最大化利用GPU算力資源;以及混合精度訓(xùn)練的bfloat16數(shù)格式加速訓(xùn)練流程。

此外，研究人員還對模型參數(shù)進行了大量優(yōu)化，使用了學(xué)習(xí)率為2e-4的常規(guī)SGD訓(xùn)練,并使用了0.01的L2權(quán)重衰減以防止模型過大，出現(xiàn)過擬合、內(nèi)容輸出不穩(wěn)定等情況。

為了測試MaLA-500的性能，研究人員在SIB-200等數(shù)據(jù)集上進行了綜合實驗。

結(jié)果顯示，相比原始LLaMA 2模型,MaLA-500在主題分類等評測任務(wù)上的準(zhǔn)確率提高了12.16%，這說明MaLA-500的多語言優(yōu)于，現(xiàn)有的眾多開源大語言模型。

本文素材來源MaLA-500論文，如有侵權(quán)請聯(lián)系刪除

END