Meta 公司開發(fā)了最大的基礎(chǔ)開源大型語言模型之一 Llama，該公司認為未來將需要更強的計算能力來訓(xùn)練模型。馬克-扎克伯格（Mark Zuckerberg）在本周二的 Meta 第二季度財報電話會議上表示，為了訓(xùn)練 Llama 4，公司需要比訓(xùn)練 Llama 3 多 10 倍的計算能力。但他仍然希望 Meta 能夠提高訓(xùn)練模型的能力，而不是落后于競爭對手。

扎克伯格說：“訓(xùn)練 Llama 4 所需的計算量很可能是我們訓(xùn)練 Llama 3 所需的計算量的近 10 倍，而且未來的模型還將繼續(xù)增長。很難預(yù)測未來幾代人的發(fā)展趨勢。但在這一點上，考慮到啟動新推理項目的籌備時間較長，我寧愿冒險在需要之前建設(shè)能力，而不是為時已晚?！?/p>

Meta于今年 4 月發(fā)布了擁有 800 億個參數(shù)的 Llama 3。該公司上周發(fā)布了該模型的升級版，名為Llama 3.1 405B，擁有 4 050 億個參數(shù)，成為 Meta 最大的開源模型。

Meta 公司首席財務(wù)官蘇珊-李（Susan Li）也表示，公司正在考慮不同的數(shù)據(jù)中心項目，并建設(shè)能力來訓(xùn)練未來的人工智能模型。她說，Meta 預(yù)計這項投資將在 2025 年增加資本支出。

訓(xùn)練大型語言模型是一項成本高昂的工作。在服務(wù)器、數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施投資的推動下，Meta 的資本支出從去年同期的 64 億美元增至 2024 年第二季度的 85 億美元，增長了近 33%。

根據(jù)The Information 的報道，OpenAI 在訓(xùn)練模型上花費了 30 億美元，另外還以折扣價從微軟租用了 40 億美元的服務(wù)器。

"隨著我們擴大生成式人工智能的訓(xùn)練能力，以推進我們的基礎(chǔ)模型，我們將繼續(xù)以靈活的方式建設(shè)我們的基礎(chǔ)設(shè)施。這將使我們能夠?qū)⒂?xùn)練能力用于基因人工智能推理或我們的核心排名和推薦工作，當(dāng)我們預(yù)計這樣做會更有價值時，我們就會這樣做，"李開復(fù)在電話會議上說。

在電話會議上，Meta 還談到了面向消費者的Meta AI 的使用情況，并表示印度是其聊天機器人的最大市場。但李開復(fù)指出，公司并不指望 Gen AI 產(chǎn)品能對收入做出重大貢獻。