“走紅”近兩年后，大模型正在加速走進(jìn)千行萬(wàn)業(yè)。

由于大模型的主要模態(tài)是文字和圖片，恰好是數(shù)字化辦公最基礎(chǔ)的內(nèi)容要素，辦公于是成了離AI最近的場(chǎng)景。

公文寫作、表格生成、提煉大綱、文本翻譯、代碼潤(rùn)色、數(shù)據(jù)統(tǒng)計(jì)、智能問(wèn)答……越來(lái)越多的應(yīng)用正在辦公場(chǎng)景落地，曾經(jīng)需要幾個(gè)小時(shí)才能處理的工作，現(xiàn)在被壓縮到了分鐘級(jí)乃至秒級(jí)。

特別是進(jìn)入2024年后，大模型tokens窗口擴(kuò)張使得百萬(wàn)字的無(wú)損上下文輸入成為現(xiàn)實(shí)，衍生出了閱讀論文、搜索網(wǎng)頁(yè)，在海量資料中進(jìn)行信息整理和分析的新應(yīng)用場(chǎng)景。AI智能不斷涌現(xiàn)，要么加入AI，要么被AI淘汰，成了“打工人”茶余飯后的談資。

不過(guò)，要把AI接入辦公場(chǎng)景，也存在一定問(wèn)題：面對(duì)效率和安全，企業(yè)該何選擇的問(wèn)題？

不少企業(yè)多年經(jīng)營(yíng)，留存下了大量的數(shù)字資產(chǎn)，涉及內(nèi)部知識(shí)、技術(shù)文檔、經(jīng)驗(yàn)分享、財(cái)務(wù)數(shù)據(jù)、業(yè)務(wù)訂單等等，可以說(shuō)是一家企業(yè)“核心競(jìng)爭(zhēng)力”的源泉。AI存在一定安全風(fēng)險(xiǎn)，一旦泄密，對(duì)于企業(yè)來(lái)說(shuō)，無(wú)疑是“自毀長(zhǎng)城”。

既要保障數(shù)字資產(chǎn)的安全，也想用AI激發(fā)出新動(dòng)能。比較主流的做法是本地化部署，即將大模型部署到本地服務(wù)器上，在數(shù)據(jù)不外漏的前提下，用大模型盤活數(shù)字資產(chǎn)，向智能技術(shù)要效益，向私有部署要安全。

理想很豐滿，現(xiàn)實(shí)卻很骨感。大模型走進(jìn)企業(yè)，需要一系列軟硬件支持。擺在企業(yè)面前的就是安全、性能和成本的“不可能三角”：在算力成本高企的背景下，數(shù)據(jù)安全常常對(duì)應(yīng)著海量的成本投入；不想在硬件上投入太大，性能不可避免大打折扣。

面對(duì)辦公AI的“攔路虎”，釘釘和昇騰給出了新的解法：日前舉辦的HC2024昇騰產(chǎn)業(yè)峰會(huì)上，聯(lián)合發(fā)布了“釘釘專屬AI一體機(jī)解決方案，通過(guò)軟硬件的深度協(xié)同，加速企業(yè)智能助理落地。

01 本地化部署的“三重門”
之所以會(huì)出現(xiàn)“不可能三角”，根源在于AI在辦公場(chǎng)景落地時(shí)普遍出現(xiàn)的三類痛點(diǎn)：

一是數(shù)據(jù)安全疑慮。

隨著越來(lái)越多的業(yè)務(wù)走向數(shù)字化，企業(yè)數(shù)據(jù)在終端、應(yīng)用云端、數(shù)據(jù)中心間流轉(zhuǎn)，鏈路非常復(fù)雜，導(dǎo)致數(shù)據(jù)要素的流通風(fēng)險(xiǎn)激增。再加上大模型的“黑箱”問(wèn)題，數(shù)據(jù)一旦投喂給大模型就無(wú)法“撤回”。

早在2023年4月，三星就曝出了數(shù)據(jù)泄露事件。半導(dǎo)體部門的工程師使用ChatGPT修復(fù)源代碼問(wèn)題，導(dǎo)致內(nèi)部會(huì)議記錄等數(shù)據(jù)以提問(wèn)的方式上傳到了ChatGPT的訓(xùn)練數(shù)據(jù)庫(kù)。美國(guó)數(shù)據(jù)安全公司Cyberhaven曾統(tǒng)計(jì)160萬(wàn)員工使用AI的情況，發(fā)現(xiàn)3.1%的“打工人”曾直接將公司內(nèi)部數(shù)據(jù)喂給ChatGPT分析。

所以很多企業(yè)對(duì)數(shù)字資產(chǎn)智能化的策略是：內(nèi)網(wǎng)部署、進(jìn)行物理層隔離，從模型、數(shù)據(jù)、應(yīng)用等全方位保障企業(yè)數(shù)據(jù)內(nèi)容安全。

二是成本和不確定性。

本地化部署的代價(jià)也很明顯，涉及算力、運(yùn)維、模型微調(diào)等一系列流程，并且存在極大的不確定性。

以算力基礎(chǔ)設(shè)施為例，需要解決CPU、GPU、內(nèi)存、網(wǎng)絡(luò)等一連串挑戰(zhàn)，單單是基本的硬件投入，就需要數(shù)十萬(wàn)以上的預(yù)算。如果要實(shí)現(xiàn)長(zhǎng)文本閱讀等高算力場(chǎng)景，意味著百萬(wàn)級(jí)、千萬(wàn)級(jí)的算力成本。

大模型的微調(diào)和部署，同樣是成本開支的大頭。2023年大模型剛走紅時(shí)，模型定制開發(fā)的價(jià)碼一度達(dá)到上千萬(wàn)，即使是行業(yè)回歸了理性，也需要上百萬(wàn)的費(fèi)用。另一個(gè)不應(yīng)該被忽略的是，市面上的主流大模型往往保持著按月更新的節(jié)奏，不斷有新的能力被挖掘，每一次版本更新后都需要重新適配。

三是缺乏落地經(jīng)驗(yàn)。

擁抱AI是戰(zhàn)略層面上的，落地應(yīng)用則是戰(zhàn)術(shù)層的。在戰(zhàn)略上做出正確選擇很重要，但戰(zhàn)術(shù)上的挑戰(zhàn)一點(diǎn)都不少。因?yàn)榇竽Ｐ偷穆涞貞?yīng)用是一個(gè)不斷試錯(cuò)的過(guò)程，存在時(shí)間周期長(zhǎng)、落地成本高的特征。

目前的技術(shù)距離通用人工智能還有不小的距離，大模型的能力可以應(yīng)用到哪些業(yè)務(wù)場(chǎng)景中，需要一個(gè)個(gè)去嘗試，再根據(jù)業(yè)務(wù)場(chǎng)景的實(shí)際表現(xiàn)進(jìn)行調(diào)整測(cè)試。何況還存在“懂不懂行”的爭(zhēng)論，開發(fā)者不懂一線員工的需求，一線員工不懂AI，無(wú)形中產(chǎn)生了種種內(nèi)耗，制約著AI的落地進(jìn)程。

辦公AI的落地不單單是一個(gè)技術(shù)問(wèn)題，也是一個(gè)工程問(wèn)題，智能化的能力和行業(yè)應(yīng)用經(jīng)驗(yàn)一個(gè)都不能少。

以上種種問(wèn)題，既是行業(yè)內(nèi)普遍存在的現(xiàn)象，也是釘釘和昇騰合作的出發(fā)點(diǎn)。雙方聯(lián)合給出的解題思路正是“釘釘專屬AI一體機(jī)”，在昇騰Atlas 800I A2推理服務(wù)器的使能下，能提供從算力、模型、數(shù)據(jù)庫(kù)到Agent應(yīng)用開發(fā)和場(chǎng)景部署的一站式一體化落地解決方案，讓AI的落地企業(yè)，不再是復(fù)雜的系統(tǒng)工程，而是開箱即用的服務(wù)。

02 “1+1＞2”的協(xié)同效應(yīng)
面對(duì)希望快速落地大模型應(yīng)用、數(shù)據(jù)安全敏感度高、擔(dān)心成本大的企業(yè)訴求，釘釘和昇騰能否給出最優(yōu)解？

在回答這個(gè)問(wèn)題前，不妨先了解下釘釘?shù)腁I探索。

截至2023年，已經(jīng)有2500萬(wàn)組織、7億用戶使用釘釘。隱藏在數(shù)字背后的，恰恰是釘釘在辦公領(lǐng)域的全場(chǎng)景布局，涵蓋協(xié)作、溝通、知識(shí)等高頻場(chǎng)景，不僅意味著釘釘對(duì)企業(yè)辦公場(chǎng)景需求和痛點(diǎn)的深刻洞察，也讓釘釘拿到了AI時(shí)代的“入場(chǎng)券”，探索大模型在辦公領(lǐng)域的應(yīng)用前景。

可以找到的動(dòng)作有很多。譬如2024年初的新品發(fā)布會(huì)上，釘釘把焦點(diǎn)留給了AI Agent，用戶只需要簡(jiǎn)單配置，即可實(shí)現(xiàn)智能問(wèn)答、圖像生成、內(nèi)容創(chuàng)作、數(shù)據(jù)統(tǒng)計(jì)等能力。

過(guò)去的大半年時(shí)間里，以釘釘為底座的AI產(chǎn)品和方案不斷涌現(xiàn)，從底層的大模型，到RAG、混合云部署在內(nèi)的學(xué)習(xí)調(diào)優(yōu)，再到簡(jiǎn)單高效的Agent創(chuàng)建和深入知識(shí)、人事、市場(chǎng)、銷售、產(chǎn)研等不同場(chǎng)景的Agent應(yīng)用，其中就包括針對(duì)企業(yè)數(shù)字資產(chǎn)的專屬AI解決方案和智能應(yīng)用。

比如面向數(shù)據(jù)資產(chǎn)的ChatBI，可以用自然語(yǔ)言隨時(shí)隨地查詢經(jīng)營(yíng)數(shù)據(jù)，實(shí)現(xiàn)了“所想即所見(jiàn)”的高效率；
比如面向知識(shí)資產(chǎn)的ChatMemo，先讓大模型學(xué)習(xí)專業(yè)文檔、融合圖譜與向量，即可提供專家級(jí)回答；
再比如面向應(yīng)用資產(chǎn)的ChatForm，配合宜搭的無(wú)代碼搭建能力，拖拉拽就能打通數(shù)據(jù)，創(chuàng)造智能應(yīng)用……
不難得出這樣的結(jié)論：釘釘?shù)姆桨负湍芰梢詽M足企業(yè)數(shù)字資產(chǎn)向智能要效益的絕大部分需求。有了這種被千萬(wàn)組織、數(shù)億用戶驗(yàn)證過(guò)的，辦公AI本地化部署方案，企業(yè)AI轉(zhuǎn)型就不再需要從0到1“重復(fù)造輪子”。

而深耕AI框架、算子、計(jì)算架構(gòu)、網(wǎng)絡(luò)等根技術(shù)的昇騰，接棒了高性能算力、高能效硬件、智能運(yùn)維等基礎(chǔ)設(shè)施。

在硬件方面，釘釘專屬AI一體機(jī)搭載的昇騰Atlas 800I A2推理服務(wù)器，支持百億級(jí)LLM大模型推理，并可以面向中心規(guī)模部署，實(shí)現(xiàn)保障業(yè)務(wù)SLA要求下的最大有效輸出。

在軟件方面， MindIE推理引擎提供針對(duì)大模型的推理、訓(xùn)練，可以提供通信加速、解碼優(yōu)化、量化壓縮、調(diào)度優(yōu)化等能力，全方位保障釘釘專屬AI一體機(jī)的模型推理性能。

其中在14B-70B大模型的推理場(chǎng)景下，釘釘專屬AI一體機(jī)的W8A8量化壓縮比W8A16提升了40%，通過(guò)HCCS多級(jí)通信優(yōu)化，絕大部分模型的吞吐平均性能達(dá)到了友商的1.5倍。

同樣的，還有白屏化部署功能，在大模型的部署過(guò)程匯總，用戶無(wú)需關(guān)注背后的技術(shù)復(fù)雜性和操作細(xì)節(jié)，而是在圖形化的界面上一步步點(diǎn)擊、配置、安裝，大幅降低了模型部署的門檻，讓企業(yè)更方便地接入。

釘釘?shù)拇竽Ｐ秃蛨?chǎng)景優(yōu)勢(shì)，遇到昇騰的底層軟硬件能力，碰撞出了1+1＞2的“協(xié)同效應(yīng)”：從硬件到軟件的深度協(xié)同優(yōu)化，幫助企業(yè)快速、高效、穩(wěn)定地落地大模型應(yīng)用，加速生產(chǎn)、銷售、研發(fā)、管理等環(huán)節(jié)邁向數(shù)智化， “一鍵”挖掘企業(yè)數(shù)字資產(chǎn)的價(jià)值。

03 聯(lián)手打破“不可能三角”
最后必須回答的問(wèn)題是：釘釘專屬AI一體機(jī)都有哪些落地場(chǎng)景，能夠給企業(yè)帶來(lái)什么樣的價(jià)值？

我們找到了一些真實(shí)的落地案例。

第一個(gè)是知識(shí)助理。

釘釘專屬AI一體機(jī)對(duì)企業(yè)的產(chǎn)品資料、技術(shù)文檔等進(jìn)行學(xué)習(xí)后，扮演起了“銷售助理”的角色，幫助銷售人員快速整理產(chǎn)品資料，以對(duì)話的方式對(duì)比不同型號(hào)產(chǎn)品的差別、解答產(chǎn)品的應(yīng)用場(chǎng)景，進(jìn)一步提高銷售人員的工作效率。

衍生出的場(chǎng)景還有很多。比如面向售前的智能導(dǎo)購(gòu)，根據(jù)消費(fèi)者的描述和需求，篩選推薦最適合的產(chǎn)品；再比如銷售陪練，以陪練的方式對(duì)新入職的銷售人員進(jìn)行水平測(cè)驗(yàn)，迅速成為“老司機(jī)”。

第二個(gè)是管理助理。

過(guò)去有出差需求時(shí)，需要先提交出差申請(qǐng)，通過(guò)后人事預(yù)訂機(jī)票和酒店，整個(gè)過(guò)程至少需要三四個(gè)小時(shí)?，F(xiàn)在可以將相關(guān)權(quán)限下放給AI助理，只需要語(yǔ)音描述出差的時(shí)間、地點(diǎn)，即可自動(dòng)完成機(jī)票和酒店的預(yù)訂。

以及困擾無(wú)數(shù)職場(chǎng)人的會(huì)議室預(yù)訂，需要和每一個(gè)參會(huì)人員溝通時(shí)間，然后在OA平臺(tái)上逐個(gè)查看哪個(gè)會(huì)議室是空著的。有了AI助理后，只需要確認(rèn)參會(huì)人員名單，就能根據(jù)大家的日程安排自動(dòng)預(yù)定會(huì)議室和會(huì)議時(shí)間。

第三個(gè)是生產(chǎn)助理。

在生產(chǎn)制造環(huán)節(jié)，一個(gè)普遍問(wèn)題是操作人員的不規(guī)范，常常需要人工指導(dǎo)監(jiān)督，其實(shí)可以在AI的指導(dǎo)下，幫助生產(chǎn)人員明確生產(chǎn)流程的具體操作，嚴(yán)格遵循質(zhì)量控制標(biāo)準(zhǔn)，保障生產(chǎn)過(guò)程的合規(guī)和高效。

相似的還有智能檢修場(chǎng)景，在AI的輔助下按照正確的步驟進(jìn)行故障排查，結(jié)合歷史維修記錄快速判斷故障點(diǎn)，甚至是獲得故障預(yù)測(cè)和解決方案，通過(guò)經(jīng)驗(yàn)和知識(shí)的快速?gòu)?fù)用，提高設(shè)備的檢修效率。

可以看到，釘釘專屬AI一體機(jī)的落地場(chǎng)景并未局限在公文寫作、表格生成等簡(jiǎn)單場(chǎng)景，深入到了銷售、管理、研發(fā)、生產(chǎn)、維修等企業(yè)生產(chǎn)運(yùn)作的每一個(gè)環(huán)節(jié)，而且在每一個(gè)環(huán)節(jié)都釋放出了新的價(jià)值。

也就是說(shuō)，曾經(jīng)阻礙AI本地化部署的“不可能三角”，以“降維打擊”的方式被消除了，并且迸發(fā)出了源源不斷的新質(zhì)生產(chǎn)力。

把視角再放大一些的話，諸如此類的合作遠(yuǎn)不止辦公。

僅僅是在不久前舉辦的華為全聯(lián)接大會(huì)2024上，華為就與科大訊飛、交通銀行、釘釘、360在內(nèi)的21家伙伴和客戶，基于昇騰AI基礎(chǔ)軟硬件平臺(tái)聯(lián)合發(fā)布大模型推理行業(yè)解決方案，覆蓋了互聯(lián)網(wǎng)、金融、政府、政務(wù)、制造、媒資、交通等行業(yè)。

另一個(gè)不應(yīng)該被忽略的信息點(diǎn)在于，在“開放、利他”的理念下，昇騰AI已累計(jì)培養(yǎng)3萬(wàn)多名原生開發(fā)貢獻(xiàn)者，2000多家應(yīng)用伙伴孵化了4000多個(gè)行業(yè)解決方案……言外之意，釘釘專屬AI一體機(jī)等產(chǎn)品的想象空間遠(yuǎn)未觸頂，將不斷被賦予更多的能力和價(jià)值。

04 寫在最后
年初的時(shí)候就有不少人預(yù)言：2024年將是大模型推理元年。

回頭來(lái)看，預(yù)言不僅得到了充分驗(yàn)證，還出現(xiàn)了此前未曾料到的“奇跡”。在釘釘專屬AI一體機(jī)等產(chǎn)品的幫助下，AI打破了數(shù)據(jù)安全、成本、落地門檻高等重重阻力，讓AI Agent在越來(lái)越多行業(yè)生了根、發(fā)了芽。