今年3月，百度智能云推出“千帆大模型平臺(tái)”。作為全球首個(gè)一站式的企業(yè)級(jí)大模型平臺(tái)，千帆不但提供包括文心一言在內(nèi)的大模型服務(wù)及第三方大模型服務(wù)，還提供大模型開發(fā)和應(yīng)用的整套工具鏈，能夠幫助企業(yè)解決大模型開發(fā)和應(yīng)用過程中的所有問題。

本次千帆大模型平臺(tái)升級(jí)的目的是給企業(yè)、開發(fā)者提供更加靈活、多樣化、高效的大模型服務(wù)，客戶可選擇最適合自身業(yè)務(wù)的大模型，再利用千帆大模型平臺(tái)全套工具鏈進(jìn)行模型再訓(xùn)練、指令微調(diào)等，高效率、低成本地打造企業(yè)專屬大模型。此外，海量Prompt模板庫可提高大模型內(nèi)容準(zhǔn)確性和滿意度。

千帆接入Llama 2等33個(gè)大模型，推理成本最高可降低50%

當(dāng)前，開源大模型生態(tài)發(fā)展迅速，大量優(yōu)質(zhì)模型涌現(xiàn)，在不同任務(wù)場景、參數(shù)量級(jí)與算力環(huán)境下體現(xiàn)出了差異化優(yōu)勢。如何選擇適合的大模型、如何應(yīng)用大模型能力提升市場競爭力，成為越來越多企業(yè)迫切探索的方向。

文心大模型是百度發(fā)布的產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)大模型，據(jù)IDC最新發(fā)布的《AI大模型技術(shù)能力評(píng)估報(bào)告，2023》顯示，文心大模型得到“綜合評(píng)分第一，算法模型第一，行業(yè)覆蓋第一”三個(gè)絕對(duì)第一。而在文心大模型3.5版支持下的文心一言，中文能力突出，在多個(gè)公開測評(píng)也顯示有超出GPT-4的表現(xiàn)。

為滿足企業(yè)對(duì)大模型多樣的需求，千帆大模型平臺(tái)以文心大模型為核心，同時(shí)全面接入Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個(gè)大模型，成為國內(nèi)擁有大模型最多的平臺(tái)。

企業(yè)用戶可將不同大模型搭配使用，以滿足不同細(xì)分場景的業(yè)務(wù)需求。企業(yè)和開發(fā)者可以登陸千帆大模型平臺(tái)操作臺(tái)，在“模型倉庫”中直接調(diào)用、部署。

千帆大模型平臺(tái)接入的大模型均經(jīng)過嚴(yán)格優(yōu)選，主要考核三大指標(biāo)：模型效果、模型安全性、可商用。為給企業(yè)客戶帶來更好的模型產(chǎn)品，千帆大模型平臺(tái)對(duì)這33個(gè)大模型進(jìn)行了性能+安全的雙重增強(qiáng)。

對(duì)每一個(gè)大模型進(jìn)行了二次性能增強(qiáng)，通過優(yōu)化模型吞吐、降低模型尺寸，實(shí)現(xiàn)模型推理速度的大幅提升。據(jù)測算，調(diào)優(yōu)后模型體積可壓縮至25%-50%，推理性能顯著提升。這意味著，企業(yè)在千帆大模型平臺(tái)上調(diào)用這些模型可極大地節(jié)約成本，提升效果。

對(duì)第三方大模型做了二次安全增強(qiáng)，更好管控模型輸出的安全性?？蛻粼谇Х竽Ｐ推脚_(tái)上調(diào)用第三方模型，也享有平臺(tái)的安全保障。

為方便開發(fā)者和企業(yè)做模型調(diào)優(yōu)，千帆大模型平臺(tái)還提供多種低門檻調(diào)優(yōu)工具，包括SFT（全量參數(shù)微調(diào)、Prompt Tuning、LoRA）及強(qiáng)化學(xué)習(xí)（獎(jiǎng)勵(lì)模型學(xué)習(xí)、強(qiáng)化學(xué)習(xí)訓(xùn)練）等，同一模型可通過多種方式持續(xù)調(diào)優(yōu)。此外，千帆大模型平臺(tái)還支持?jǐn)?shù)據(jù)回流功能，可在實(shí)際生產(chǎn)過程中持續(xù)微調(diào)，提升模型效果。

上線國內(nèi)最全Prompt海量模板庫，大幅優(yōu)化模型輸出效果

Prompt是指通過自然語言向大模型提出問題/提示，幫助大模型更好地理解人類的問題。實(shí)際應(yīng)用時(shí)，大模型往往因?yàn)镻rompt缺乏針對(duì)性、描述不清晰等原因影響到內(nèi)容準(zhǔn)確性。

為幫助客戶提高Prompt提問質(zhì)量、提升模型輸出滿意度，本輪升級(jí)后，千帆大模型平臺(tái)上線了海量預(yù)置Prompt模板庫，模板數(shù)量多達(dá)103個(gè)，包含對(duì)話、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個(gè)常見場景。用戶可以根據(jù)需求選擇合適的模板，直接輸出給大模型, 即可提高模型內(nèi)容的針對(duì)性和準(zhǔn)確度。

不少企業(yè)使用大模型時(shí)，認(rèn)為效果不好是模型本身的問題，其實(shí)很多時(shí)候重新編寫Prompt就能達(dá)到預(yù)想的效果。海量Prompt模板的推出，大幅降低了Prompt撰寫難度。很多情況下，企業(yè)無需花費(fèi)大量資源調(diào)優(yōu)大模型，基于模板優(yōu)化Prompt，即可得到滿意的模型效果。

如今，大模型正在重塑各行各業(yè)，進(jìn)入產(chǎn)業(yè)落地期。為降低大模型使用門檻，百度智能云千帆大模型平臺(tái)將持續(xù)匯聚優(yōu)質(zhì)的大模型資源，提供易用可靠的大模型工具鏈，幫助每個(gè)企業(yè)、開發(fā)者打通擁抱大模型的最短路徑，共同探索大模型與行業(yè)結(jié)合的創(chuàng)新實(shí)踐。