開源技術(shù)報(bào)告，阿里云私服游戲服務(wù)器怎么看待大模型的路徑？

隨著 Meta 的 Llama2 開源，開源模型，以及聚集大模型開發(fā)者的開源社區(qū)，正在發(fā)揮不可或缺的作用。

一個(gè)例子是，上個(gè)月 Hugging Face 得到了谷歌、亞馬遜、英偉達(dá)、Salesforce、AMD、英特爾、IBM 和高通的共同投資。

這些大公司共同出手的原因是：他們的員工正在積極使用 Hugging Face 平臺(tái)。Hugging Face CEO 德蘭格表示，「阿里云私服游戲服務(wù)器也許五年后，將擁有大約 1 億 AI 構(gòu)建者。如果所有人都整天使用 Hugging Face，我們顯然會(huì)處于有利位置?！?/p>

幾個(gè)月以來，國內(nèi)多家大模型廠商開始走開源路徑，其中，阿里云是最積極的云廠商。

本周，阿里云開源通義千問 140 億參數(shù)模型 Qwen-14B，以及其對(duì)話模型 Qwen-14B-Chat。阿里云同時(shí)公布了其 AI 開發(fā)者社區(qū)——魔搭的最新數(shù)據(jù)。目前，魔搭社區(qū)已有 230 多萬開發(fā)者，8500 萬的模型下載量。據(jù)阿里云上季度財(cái)報(bào)，魔搭社區(qū)模型的下載量是 4500 萬。也就是說，不到兩個(gè)月，模型的下載量翻番。

一個(gè)半月內(nèi)，這已經(jīng)是阿里云第三次推出免費(fèi)可商用的開源模型。并且，與更大尺寸模型一同開源的，還有技術(shù)報(bào)告。與預(yù)訓(xùn)練、對(duì)齊等一系列模型訓(xùn)練過程有關(guān)的數(shù)據(jù)、方法都在報(bào)告中得以詳細(xì)呈現(xiàn)。

對(duì)此，阿里云 CTO 周靖人表示，這也是今天中國模型社區(qū)的第一次，「不單單開源我們的模型，把報(bào)告也分享給大家，阿里云私服游戲服務(wù)器能夠讓大家體驗(yàn)到模型各式各樣的表現(xiàn)，更有效地幫助大家進(jìn)行模型的應(yīng)用?！?/p>

同時(shí)，他認(rèn)為，客觀地從全方位的維度來衡量一個(gè)模型，把各種各樣的指標(biāo)公開，這些可以幫助開發(fā)者有效衡量：今天從哪個(gè)模型開始，讓開發(fā)者參與起來。

開源模型在多大程度上開源，這也是開發(fā)者最關(guān)心的問題，尤其是關(guān)于商業(yè)使用權(quán)和數(shù)據(jù)集的開放。

此前，電氣與電子工程師協(xié)會(huì) IEEE 網(wǎng)站上，有學(xué)者質(zhì)疑 Llama2 的開源屬性。盡管 Meta 已經(jīng)提供了經(jīng)過訓(xùn)練的模型，但并未共享模型的訓(xùn)練數(shù)據(jù)或用于訓(xùn)練模型的代碼。雖然第三方能夠創(chuàng)建在模型上擴(kuò)展的應(yīng)用程序，但想要進(jìn)一步研究 Llama2 的開發(fā)人員和研究人員無法復(fù)刻模型。

在這一點(diǎn)上，開源社區(qū)和開源模型的開放性需要進(jìn)一步被討論。

除了開源，周靖人在日前的 Qwen-14B 發(fā)布會(huì)上，接受了包括極客公園在內(nèi)的多家媒體采訪，阿里云私服游戲服務(wù)器透露了客戶側(cè)大模型的演進(jìn)方向，阿里云閉源、開源兩條腿走路背后的思考等問題。

以下為阿里云 CTO 周靖人對(duì)話內(nèi)容，經(jīng)極客公園整理：

目前大模型落地的演化方向

——怎么解決領(lǐng)域問題

問：從阿里云與客戶的接觸來看，目前在通用大模型的落地方面，哪些應(yīng)用方向需求量較大？

周靖人：把模型真正運(yùn)用在實(shí)際場景里，還是需要有很多二次開發(fā)，甚至今天就要結(jié)合領(lǐng)域知識(shí)。

如何能夠解決領(lǐng)域的問題，阿里云私服游戲服務(wù)器是今天基礎(chǔ)模型比較欠缺的地方。今天在一些特殊領(lǐng)域里，其實(shí)有很多專業(yè)知識(shí)，有很多的專業(yè) know how，需要不斷深挖這些領(lǐng)域，把這些核心能力跟比如開源的通義千問 7B 或者 14B 的模型有效地結(jié)合在一起，不斷加深領(lǐng)域知識(shí)，變成這個(gè)領(lǐng)域的一個(gè)核心模型。

具體還會(huì)遇到一些客戶場景，阿里云私服游戲服務(wù)器客戶有一些特殊的數(shù)據(jù)或者信息，還不便于公開。這時(shí)候，可以考慮通過知識(shí)增強(qiáng)的方式，prompt engineering（提示詞工程），或者做一些記憶的模塊，這一系列對(duì)整個(gè)模型的落地起到至關(guān)重要的作用。

不久的將來，也會(huì)跟大家分享阿里云在這方面如何把模型的落地做成一個(gè)產(chǎn)品，從而有效幫助我們的開發(fā)者、ISV，甚至企業(yè)能夠快速把模型的能力應(yīng)用在實(shí)際的業(yè)務(wù)場景里面。

問：應(yīng)用層的反饋，對(duì)阿里云有什么啟發(fā)？

周靖人：今天在模型應(yīng)用里，可能更多是要做相關(guān)的模型拓展。包括今天根據(jù)各行各業(yè)的知識(shí)，或者今天如何能更有效地做相關(guān)的 fine-tune（模型精調(diào)）。

在工具這一層，我們也收到大家的反饋，不斷地去打磨，能夠把我們模型的應(yīng)用做到低門檻，同時(shí)更高效。

問：通義千問實(shí)現(xiàn)全面開源，面臨的最大挑戰(zhàn)或困難是什么？

周靖人：講到模型的應(yīng)用，不能說今天只做一個(gè) foundation model（基礎(chǔ)模型），（阿里云私服游戲服務(wù)器基礎(chǔ)模型）跟我們實(shí)際的應(yīng)用場景還會(huì)有很大距離。怎么能夠幫助開發(fā)者、企業(yè)用好模型，這是今天很重要的一個(gè)環(huán)節(jié)。

我們做開源也是基于這樣一個(gè)場景，真正實(shí)現(xiàn)目標(biāo)，讓 AI 更加普惠。這句話要實(shí)現(xiàn)是非常難的，很有挑戰(zhàn)，需要我們跟行業(yè)伙伴共同合作。

客戶側(cè)，多大規(guī)模

的模型，最有優(yōu)勢？

問：Qwen-14B 開源模型與之前的 Qwen-7B 相比，有哪些突破？

周靖人：這兩個(gè)模型處于不同的量級(jí)。今天隨著模型參數(shù)的增加，模型的整體容量，包括它的能力都有不斷地提升。如果直接把 7B 和 14B 這兩個(gè)模型的級(jí)別做比較，14B 模型往往會(huì)比 7B 在某些領(lǐng)域，特別是在長尾的領(lǐng)域表現(xiàn)出更強(qiáng)的認(rèn)知能力，甚至推理能力，包括算術(shù)等方面。

這兩款開源模型，基本上在各自領(lǐng)域，都領(lǐng)先于市場上大家耳熟能詳?shù)哪Ｐ?。甚至可以跨?jí)別地做一些比較，千問 14B 的模型比很多更大規(guī)模模型的指標(biāo)都有提升，但它的好處是比這些大的模型更加 compact。也就是說，它在模型微調(diào)方面，在模型的應(yīng)用方面會(huì)更有性價(jià)比。

魔搭作為一個(gè)開源的模型社區(qū)，希望給不同的開發(fā)者、阿里云私服游戲服務(wù)器不同的企業(yè)更多的選擇。這是在 7B 的規(guī)模之上，要開進(jìn)一步開源 14B 模型的初衷。至于怎么選擇，很多時(shí)候要結(jié)合業(yè)務(wù)場景。不同的場景可以根據(jù)需求選擇不一樣規(guī)模的模型來應(yīng)用在自己的開發(fā)環(huán)境里。

Qwen-14B 在十二個(gè)權(quán)威測評(píng)中全方位超越同規(guī)模 SOTA 大模型｜圖片來源：阿里云

問：從模型應(yīng)用層看，多大規(guī)模的模型最有市場，為什么？

周靖人：不能一概而論，這也是我們會(huì)提供不同尺寸開源模型的原因。不同企業(yè)或者不同場景，涉及到的數(shù)據(jù)量或者對(duì)模型的要求不一樣。甚至也跟我們模型服務(wù)的成本相關(guān)，今天越大規(guī)模的模型，固然在推理，在認(rèn)知能力上更好，但是它的服務(wù)成本也會(huì)相應(yīng)提升，在上面去做二次開發(fā)，做 fine-tune（模型精調(diào)），結(jié)合自己的知識(shí)增強(qiáng)等等，成本也會(huì)不斷提升。

每一個(gè)企業(yè)、開發(fā)者實(shí)際上要做一個(gè)選擇，一方面是極致的性能，另一方面是一個(gè)極致的成本。他們會(huì)根據(jù)實(shí)際場景問題的復(fù)雜度，包括今天調(diào)用的頻次、相關(guān)資源配比的情況，做出符合業(yè)務(wù)場景的選擇。

阿里云認(rèn)為只有把選擇權(quán)交給開發(fā)者，交給企業(yè)，才能更加有效地讓我們的 AI 能力落地在各個(gè)業(yè)務(wù)場景里。

開源還是閉源？

問：通義千問開源版本和API調(diào)用兩種模式如何平衡，是否是小參數(shù)的就開源？什么樣的客戶選開源，什么樣的客戶選API調(diào)用？未來開源、閉源模型會(huì)形成什么樣的格局？

什么樣的模型更適合開源？什么樣的模型適合閉源？

周靖人：我們的開源版本，無論是 7B 還是 14B，都會(huì)在魔搭社區(qū)和 Hugging Face 等同步的開源。另外一方面，也會(huì)同步以 API 的形式，在阿里云靈積平臺(tái)上，提供各種 API 服務(wù)。

我覺得還是要回到初衷，如何讓 AI 更普惠。應(yīng)該問，以什么樣的方式去支持開發(fā)者、企業(yè)，能夠更加有效地讓他們把模型的能力跟自己的業(yè)務(wù)場景有效結(jié)合在一起，去解決實(shí)際問題，所以其實(shí)不在乎今天到底是開源、閉源。

今天從基礎(chǔ)模型到應(yīng)用場景，還有很長的路。我們希望在做開源的時(shí)候，阿里云私服游戲服務(wù)器能激發(fā)大家在業(yè)務(wù)創(chuàng)新的各方面突破，（讓大家）有更多的自由空間，結(jié)合自己的應(yīng)用場景做更加突破性的創(chuàng)新。只有有更多的創(chuàng)新后，才能讓 AI 更好地落地。

問：開源大模型，對(duì)閉源大模型相比，有什么樣的補(bǔ)充？阿里云平臺(tái)上，兩種不同模型的落地，未來將是一個(gè)什么樣的比例？哪些客戶會(huì)更傾向于開源大模型？

周靖人：今天閉源、開源都是一種手段，更多的是今天怎么能夠讓這些模型，快速應(yīng)用在各種各樣的場景里面。即使在閉源里面做產(chǎn)品化，也是為了讓今天 AI 的使用門檻更低，讓 AI 的能力更加普惠，這是我們的初衷。

但是不同的場景有不一樣的需求，一定不是 one size fits all，不是只有一個(gè)模型就可以服務(wù)所有，也不是只有一種方式。今天阿里云在支持整個(gè)魔搭社區(qū)的時(shí)候，不是只有通義的模型，還有很多開源社區(qū)的模型，還有很多合作伙伴的模型。他們的模型在很多方面有很多優(yōu)勢，我們希望大家共同來建設(shè)社區(qū)，能夠真正意義上把模型的能力帶到實(shí)際場景中。

阿里云在這個(gè)過程中間，希望為大家提供基礎(chǔ)的支持，阿里云私服游戲服務(wù)器不管是算力的支持還是模型服務(wù)的支持，這也是為什么阿里云積極參與到模型開源的路徑上來。

問：阿里云更有興趣培育開源大模型，還是對(duì)大模型之上做應(yīng)用興趣更大？

周靖人：我們更有興趣讓 AI 蓬勃發(fā)展。今天要讓整個(gè) AI 的生態(tài)蓬勃發(fā)展，只做開源也不行，但不做開源更不行。

商業(yè)化的創(chuàng)新

問：商業(yè)化最后是不是還是通過應(yīng)用掙錢？MaaS 的商業(yè)模式如何跑通？

周靖人：今天涉及到模型有價(jià)值的服務(wù)，不管是通用的服務(wù)，還是定制化的服務(wù)，甚至一個(gè)通用的模型到一個(gè)具體的業(yè)務(wù)場景里，還有一定的技術(shù)過程，包括：怎么去收集本地?cái)?shù)據(jù)、怎么拿一些反饋、怎么能夠做一些知識(shí)增強(qiáng)，這些中間有很多商業(yè)想象的空間。

但我們認(rèn)為，今天在模型這部分，應(yīng)該先注重生態(tài)，再注重商業(yè)化，而不是一開始就過度圍繞商業(yè)化。把 AI 的社區(qū)、開發(fā)者的生態(tài)，茁壯培養(yǎng)起來，是我們當(dāng)前所需要共同努力的首要問題。

開源技術(shù)報(bào)告，

最大程度開放

問：對(duì)于開發(fā)者，有什么激勵(lì)嗎？

周靖人：像這次模型的開源，不單單是做模型的開源，同時(shí)，阿里云私服游戲服務(wù)器還是國內(nèi)第一個(gè)來提供 technical report。這個(gè)論文一方面闡述了模型整個(gè)研發(fā)的過程；另一方面，也最客觀地從全方位的維度來衡量一個(gè)模型，各種各樣的指標(biāo)都是公開透明的。這些都是幫助開發(fā)者有效衡量：今天從哪個(gè)模型開始。

另一方面，有不少開發(fā)者也跟我們提要求，在跟他們積極互動(dòng)的過程中，我們發(fā)現(xiàn)有這樣一個(gè)生態(tài)后，很多開發(fā)者可以幫助其他開發(fā)者。

另外，今天像通義千問模型，跟阿里云的相關(guān) AI 產(chǎn)品、技術(shù)體系是有效聯(lián)合在一起的。不管是要使用一個(gè)模型的服務(wù)，還是做 fine tune，做一些知識(shí)增強(qiáng)，阿里云都會(huì)有一系列產(chǎn)品和技術(shù)，幫助開發(fā)者進(jìn)行模型應(yīng)用。

云計(jì)算未來

的產(chǎn)品形式

問：你覺得未來的云計(jì)算會(huì)有什么樣的新形式？開源模型會(huì)不會(huì)成為云計(jì)算的標(biāo)配？

周靖人：云計(jì)算在這樣一個(gè) AI 時(shí)代里，肯定在不斷變化，不斷創(chuàng)新，包括模型的開發(fā)、模型的服務(wù)，一系列的技術(shù)體系在升級(jí)。我覺得開源模型會(huì)成為我們生態(tài)的一部分，但不一定會(huì)成為全部。

就像今天在大數(shù)據(jù)里面有很多開源的產(chǎn)品，在數(shù)據(jù)庫里面也有很多開源的產(chǎn)品。但是今天在整個(gè)云計(jì)算里，有的人會(huì)用開源的產(chǎn)品，可能用戶自己的技術(shù)實(shí)力強(qiáng)，會(huì)做一些定制的開發(fā)；但更多的人會(huì)使用的是今天像 PaaS 這樣一個(gè)產(chǎn)品，也就是說，會(huì)基于云計(jì)算上面的一系列產(chǎn)品，來進(jìn)行服務(wù)。

模型方面，我認(rèn)為也會(huì)有類似的情況。

下一步：被集成，

但是要往前多走一步

問：微軟的大模型已集成在系統(tǒng)甚至 Bing 里下放給用戶，在接近于完成培養(yǎng)用戶習(xí)慣的階段，并且行成了用戶付費(fèi)的閉環(huán)。阿里云如何看待這一問題？

周靖人：并不是說今天我們做大模型，我們就要把端到端的所有的鏈路都要由阿里云來提供。站在云的視角，我們希望更多地被集成。也就是說，把模型能力提供給各行各業(yè)的服務(wù)商、軟件商，讓他們能夠把整體產(chǎn)品技術(shù)的體系升級(jí)，服務(wù)好他的客戶。但阿里云私服游戲服務(wù)器我們這個(gè)過程中間是需要作為云平臺(tái)，要提前多走一步，希望把技術(shù)能力提供給我們的合作伙伴。

問：如何建設(shè)大模型的開源生態(tài)？

周靖人：今天模型的生態(tài)一定是要開放公開，有更多人來參與，但也要保持一個(gè)求真務(wù)實(shí)的狀態(tài)。今天比較客觀地評(píng)價(jià)一個(gè)模型的能力，也能讓開發(fā)者參與起來。

魔搭社區(qū)自始至終秉承著公開開放的理念，阿里云私服游戲服務(wù)器不管是模型開發(fā)者、創(chuàng)業(yè)者，還是頭部企業(yè)，都能通過魔搭社區(qū)去觸達(dá)更多的開發(fā)者，把他們的能力分享給社區(qū)，社區(qū)反過來給一些反饋。