鵬程·盤古模型是全球首個(gè)全開源2000億參數(shù)的自回歸中文預(yù)訓(xùn)練語言大模型，在知識問答、知識檢索、知識推理、閱讀理解等文本生成領(lǐng)域表現(xiàn)突出。

2070億參數(shù)，64層。

這里注意幾個(gè)概念。

1. 參數(shù)（Parameters）： 參數(shù)是指構(gòu)成模型的所有可學(xué)習(xí)變量。這些變量通常包括權(quán)重矩陣和偏置項(xiàng)。模型的參數(shù)越多，理論上它能夠擬合的數(shù)據(jù)分布就越復(fù)雜，但也更容易過擬合，即模型可能對訓(xùn)練數(shù)據(jù)過于敏感而不能很好地泛化到未見過的數(shù)據(jù)上。

2. 層數(shù)（Number of Layers）： 層數(shù)指的是神經(jīng)網(wǎng)絡(luò)中隱藏層的數(shù)量。對于Transformer模型來說，這通常指的是編碼器或解碼器堆疊的層數(shù)。增加層數(shù)可以提高模型的表達(dá)能力，但也可能導(dǎo)致梯度消失或爆炸的問題，并且增加了計(jì)算成本。

3. 內(nèi)層維度（Hidden Size / Embedding Dimension）： 內(nèi)層維度指的是模型內(nèi)部向量的大小。例如，在Transformer模型中，輸入詞嵌入的維度以及每個(gè)位置上的表示向量的大小。較大的內(nèi)層維度可以攜帶更多的信息，但也需要更多的計(jì)算資源。

4. FFN大小（Feed-Forward Network Size / FFN Inner Size）： FFN大小指的是Transformer模型中前饋神經(jīng)網(wǎng)絡(luò)（Feed-Forward Network, FFN）的中間層大小。前饋神經(jīng)網(wǎng)絡(luò)是Transformer架構(gòu)中的一個(gè)組成部分，用于對輸入進(jìn)行非線性變換。更大的FFN層可以提供更強(qiáng)的表達(dá)能力，但同樣會(huì)增加計(jì)算負(fù)擔(dān)。

5. 頭數(shù)（Number of Heads）： 頭數(shù)是指多頭注意力機(jī)制（Multi-Head Attention）中的頭的數(shù)量。多頭注意力允許模型從不同的表示子空間中并行地關(guān)注輸入的不同位置。增加頭數(shù)可以讓模型捕捉到輸入序列中不同粒度的信息依賴關(guān)系，但同時(shí)也會(huì)增加計(jì)算開銷。

?

中國工程院院士、鵬程實(shí)驗(yàn)室主任高文曾指出，全球通用的50億大模型數(shù)據(jù)訓(xùn)練集中，中文語料占比僅為1.3%。這一數(shù)字揭示了中文語料在全球范圍內(nèi)的稀缺性。

中文畢竟不是全世界都在用，還有一點(diǎn)，有如下的原因：

1. 版權(quán)和隱私問題：許多中文文本資源受版權(quán)保護(hù)，無法輕易獲取或使用。此外，涉及到個(gè)人隱私的數(shù)據(jù)受到嚴(yán)格的法律保護(hù)，這也限制了可用于訓(xùn)練的數(shù)據(jù)量。

2. 語言和文化的多樣性：中文不僅包括普通話，還有多種方言和地區(qū)性的語言變體。此外，中文書寫系統(tǒng)本身復(fù)雜，包含了成千上萬的漢字，這使得創(chuàng)建全面且代表性的語料庫變得困難。

3. 互聯(lián)網(wǎng)內(nèi)容的動(dòng)態(tài)變化：雖然互聯(lián)網(wǎng)上有大量的中文內(nèi)容，但這些內(nèi)容通常是動(dòng)態(tài)變化的，并且可能存在質(zhì)量問題。例如，社交媒體上的帖子可能含有大量的非標(biāo)準(zhǔn)用法或網(wǎng)絡(luò)俚語，這些內(nèi)容可能不適合用于訓(xùn)練高質(zhì)量的語言模型。

4. 高質(zhì)量數(shù)據(jù)的稀缺：即使存在大量的中文文本，高質(zhì)量的數(shù)據(jù)仍然稀缺。高質(zhì)量的數(shù)據(jù)通常需要經(jīng)過清理、標(biāo)注和分類，而這是一項(xiàng)耗時(shí)且昂貴的工作。此外，并非所有文本都適合用于訓(xùn)練語言模型，只有那些語法正確、內(nèi)容豐富且具有一致性的文本才是理想的訓(xùn)練材料。

5. 數(shù)據(jù)合規(guī)監(jiān)管機(jī)制：隨著數(shù)據(jù)保護(hù)意識的提高，對于數(shù)據(jù)的收集、存儲(chǔ)和使用有了更為嚴(yán)格的規(guī)定。這不僅增加了獲取數(shù)據(jù)的難度，也提高了數(shù)據(jù)處理的成本。

6. 歷史因素：一些中文語料因?yàn)槟甏眠h(yuǎn)，格式不兼容，或者是紙質(zhì)形式難以數(shù)字化，也難以在市場上自由流通。

目前，國家成立了數(shù)據(jù)局，這比之前的大數(shù)據(jù)局，頂層設(shè)計(jì)又高了一個(gè)層級。我們國家將全力推動(dòng)數(shù)據(jù)要素X行動(dòng)，大家有興趣可以了解一下。?