在數(shù)字化浪潮的推動(dòng)下，工業(yè)制造領(lǐng)域正經(jīng)歷著一場前所未有的變革。人工智能（AI）作為這場變革的關(guān)鍵推動(dòng)者之一，正以驚人的速度顛覆傳統(tǒng)制造業(yè)。而大模型作為AI時(shí)代最先進(jìn)的科技工具之一，或?qū)⒊蔀橐I(lǐng)這場變革的利器，為制造業(yè)注入全新活力。

近日，阿加犀創(chuàng)始人、CEO孫曉剛受邀做客虎嗅智庫「502線上同行」研討會(huì)，聚焦AI工業(yè)大模型的初代落地實(shí)踐，分享了阿加犀的邊緣端大模型部署解決方案與AI工業(yè)質(zhì)檢解決方案。

在過去一年里，大模型呈現(xiàn)出了爆發(fā)式增長態(tài)勢。國內(nèi)外科技大廠都陸續(xù)推出了相關(guān)產(chǎn)品，將觸角伸入教育、醫(yī)療、工業(yè)、辦公等多個(gè)領(lǐng)域——“百模大戰(zhàn)”已經(jīng)開啟應(yīng)用場景PK戰(zhàn)。

但是，要從聊天問答的通用大模型變成能夠解決復(fù)雜問題的專業(yè)大模型，并真正落地到行業(yè)應(yīng)用場景中，絕非易事。

數(shù)據(jù)與成本 工業(yè)大模型難以跨越的鴻溝

對(duì)于工業(yè)制造這樣要求高可靠性、高準(zhǔn)確性與高精密化的領(lǐng)域而言，廠商在將大模型應(yīng)用到實(shí)際產(chǎn)線上時(shí)，不僅會(huì)考慮數(shù)據(jù)隱私和安全性，更會(huì)重點(diǎn)關(guān)注成本問題。

數(shù)據(jù)安全隱患

數(shù)據(jù)是訓(xùn)練大模型的基礎(chǔ)原料，其質(zhì)量和數(shù)量直接影響著大模型的性能與價(jià)值。

而工業(yè)是我國國民經(jīng)濟(jì)的重要支柱產(chǎn)業(yè)，其日常運(yùn)營中涉及到大量的數(shù)據(jù)操作，如生產(chǎn)、研發(fā)、銷售等，都可能與企業(yè)的商業(yè)機(jī)密和客戶隱私密切相關(guān)。因此相較其他行業(yè)而言，工業(yè)場景中的數(shù)據(jù)不透明、難獲取，且更具碎片化、多樣性和復(fù)雜性。

也正是由于涉及企業(yè)的部分核心業(yè)務(wù)，從高質(zhì)量數(shù)據(jù)里"調(diào)教"和"生長"出來的工業(yè)大模型必須滿足更高的數(shù)據(jù)安全性和隱私性，故將其放在邊緣端進(jìn)行推理運(yùn)算或?qū)⒊蔀楦鼉?yōu)于云端的選擇。

使用成本昂貴

大模型的使用成本相當(dāng)昂貴。"ChatGPT每進(jìn)行一次對(duì)話就耗費(fèi)1毛錢成本"的玩笑并非空穴來風(fēng)，據(jù)業(yè)界人士分析，千億模型每個(gè)月的服務(wù)器成本就可能高達(dá)幾千萬美元。即便是為普通AI模型尋求服務(wù)器租賃服務(wù)，其算力與帶寬費(fèi)用也在每年幾十萬上下。

再者，因AI算力需求旺盛、供給緊張，阿里云官網(wǎng)已于近日暫停出租A100，未來或?qū)⑼Ｖ够驕p少對(duì)外出租A/H服務(wù)器算力。東北證券研究所認(rèn)為，行業(yè)供求矛盾升級(jí)，算力租賃行業(yè)將進(jìn)入新一輪漲價(jià)周期。

對(duì)于工業(yè)廠商而言，成本是競爭力和命脈，更是可持續(xù)發(fā)展的關(guān)鍵。尤其是在勞動(dòng)力相對(duì)廉價(jià)的中低端產(chǎn)業(yè)鏈上，"大模型使用成本居高不下"幾乎就等同于"AI永遠(yuǎn)無法真正成為生產(chǎn)力"，這就意味工業(yè)大模型的應(yīng)用只能成為部分國企和龍頭企業(yè)的"探索"，難以惠及全行業(yè)。

在如此困境下，如何轉(zhuǎn)換思路尋求其他算力資源并將其"壓榨"出最大價(jià)值，就成了大模型順利落地工業(yè)應(yīng)用場景的關(guān)鍵命題。

加速奔向邊緣端 大模型落地有了新出路

在"工業(yè)大模型的初代落地實(shí)踐"研討會(huì)上，阿加犀創(chuàng)始人、CEO孫曉剛條分縷析地闡述了大模型在工業(yè)場景中落地應(yīng)用面臨的難點(diǎn)，并分享了阿加犀大模型邊緣端部署解決方案和AI工業(yè)質(zhì)檢解決方案。

相比大多數(shù)被炒得火熱的AI芯片而言，邊緣端芯片在價(jià)格上首先有著極大優(yōu)勢。但問題來了，大模型能在這樣的設(shè)備上順利跑起來嗎？

答案是肯定的。阿加犀打造了行業(yè)領(lǐng)先的AI工具鏈：一方面能夠?qū)Υ竽Ｐ捅旧磉M(jìn)行轉(zhuǎn)換和量化壓縮優(yōu)化，并補(bǔ)全AI算子，另一方面通過SoC性能調(diào)度充分釋放邊緣端芯片算力，提升AI運(yùn)算效率。

在AI工具鏈的賦能下，阿加犀利用多塊手機(jī)供應(yīng)鏈芯片打造了一個(gè)邊緣端AI推理集群，該集群的推理速度跟市面上的主流AI服務(wù)器不相上下，成本卻僅為原方案的1/3。在降本增效的基礎(chǔ)上，工業(yè)大模型的應(yīng)用落地才有望迎來更快的進(jìn)展，從而真正普惠到更多廠商、更多生產(chǎn)線。

"我們現(xiàn)在已經(jīng)將阿里通義千問大模型落地到了邊緣端芯片，并且跑出了很好的性能和流暢的體驗(yàn)。"

邊緣端推理運(yùn)行Qwen大模型·2023云棲大會(huì)

除通義千問以外，阿加犀還在邊緣端芯片上實(shí)現(xiàn)了LLaMA-2、百川大模型、RedPajama、ChatGLM2、Vicuna、清華智譜等大語言模型的流暢運(yùn)行；并將SAM模型、AnomalyGPT等開源視覺大模型進(jìn)行調(diào)優(yōu)后部署在邊緣端，應(yīng)用于工業(yè)質(zhì)檢場景中，高效完成分割、異常檢測等任務(wù)。

基于大模型原理，阿加犀還結(jié)合自研模型訓(xùn)練平臺(tái)AI Creator，進(jìn)一步探索在工業(yè)質(zhì)檢場景中自動(dòng)訓(xùn)練、生成模型的路徑，包括利用大模型生成模擬檢測圖像的負(fù)樣本，補(bǔ)齊負(fù)樣本難獲取、數(shù)量稀缺的短板，等等。

當(dāng)然，隨著工業(yè)4.0時(shí)代的到來，智能機(jī)器人與大模型的結(jié)合也為生產(chǎn)制造帶來了無限機(jī)遇。在這方面，阿加犀也做了很多探索。

"我們有專門做機(jī)器人解決方案的部門，目前正在遷移一些多模態(tài)大模型到機(jī)械臂上，讓它具備視覺識(shí)別能力和學(xué)習(xí)思考能力，而不是單純依靠機(jī)械指令完成任務(wù)。"

將具備自主進(jìn)化能力的多模態(tài)AI大模型接入基于阿加犀一芯多用解決方案設(shè)計(jì)的機(jī)器人，有望使其在單SoC滿足機(jī)器人多場景、智能化需求的高性價(jià)比基礎(chǔ)上，為用戶提供更加精準(zhǔn)化、個(gè)性化的服務(wù)。

大模型落地工業(yè)場景的進(jìn)程已經(jīng)拉開序幕，從某種意義上來說，只有打通整個(gè)產(chǎn)業(yè)鏈上不同的流程環(huán)節(jié)，才能最大程度實(shí)現(xiàn)成本的降低和效率的提升。

阿加犀也期待能與更多合作伙伴攜手構(gòu)建健全、完善的產(chǎn)業(yè)生態(tài)，共同應(yīng)對(duì)資源投入、數(shù)據(jù)協(xié)作、技術(shù)協(xié)同等難題，推動(dòng)工業(yè)生產(chǎn)方式向數(shù)字化、智能化轉(zhuǎn)變，讓AI真正成為生產(chǎn)力，為提升我國產(chǎn)業(yè)水平創(chuàng)造長遠(yuǎn)價(jià)值！

參考資料：

《“百模大戰(zhàn)”開啟應(yīng)用場景比拼 短期內(nèi)大規(guī)模落地仍受成本制約》，來源：財(cái)聯(lián)社·科創(chuàng)板日?qǐng)?bào)。

《阿里云A100暫停出租，算力租賃供給緊張，關(guān)注行業(yè)的三個(gè)變化》，來源：金融界。