國內互聯(lián)網公司排名2021seo推廣軟件哪個好
? ? ? ?大語言模型如此火爆,查了些資料整理一下,做個初步的了解。
????????語言模型的發(fā)展從開始的統(tǒng)計方法到使用神經網絡,再到現(xiàn)在通過使用Transformer架構的模型訓練大量數(shù)據,理解文本規(guī)則和模式,同時隨著訓練數(shù)據和模型的擴大,語言模型的能力提升顯著,此時大語言模型出現(xiàn)了-LLM。
? ? ? ? 相比于之前的明星模型-BERT,雖然大預言模型使用的架構和預訓練任務相似,但參數(shù)數(shù)量級的提升使他們有了質的差別。BERT的參數(shù)為3.3億,GPT-2為15億,而GPT-3則有1750億參數(shù)。此時GPT-3相比之前的模型,就有解決少樣本任務的能力了,這種能力可稱為涌現(xiàn)能力。
LLM的獨特能力
? ? ? ? 上下文學習:語言模型在獲得指令或任務示例時,通過上下文生成答案,此時不需要額外訓練或更新參數(shù)。
? ? ? ? 指令微調:LLM可以處理未見過的任務,泛化能力強大。
? ? ? ? 推理能力:LLM可通過中間推理步驟的提示機制解決中間的任務得到最終的答案。
LLM的特點
? ? ? ? 模型規(guī)模大:參數(shù)通常在數(shù)十億,甚至千億規(guī)模,這也是大模型可以獲取更多信息的基礎。
? ? ? ? 預訓練和微調:LLM使用大量無標簽文本數(shù)據做預訓練,獲取通用的知識,再通過微調在單獨任務重獲得更好的效果。? ? ? ? ?
? ? ? ? 上下文理解:可解決小模型對前文理解不足的問題。
? ? ? ? 支持多模態(tài):LLM可支持圖像、聲音等內容的擴展。
現(xiàn)有的大模型
? ? ? ? LLM大放異彩是從OpenAI發(fā)布ChatGPT開始的,后面還有Claude、PaLM、Bard等,但由于網絡原因,并不好用,而且還需要國際支付以獲取user key,國內使用不是很友好。
? ? ? ? 國內的LLM主要有文心一言、訊飛星火、通義千問等,分別由百度、訊飛、阿里推出。放開測試后只需手機號就能使用,但有些功能需要收費了。
LangChain
? ? ? ? 一個開源工具,幫助開發(fā)者調用大模型并應用于下游任務,其為LLM提供了通用接口,簡化開發(fā)流程。
? ? ? ? 主要有六個標準接口:
? ? ? ? Input/Output:用戶輸入及模型輸出的結果
? ? ? ? Data:將自由數(shù)據輸入模型訓練
? ? ? ? Chain:鏈接多個LLM或組件
? ? ? ? Memory:對每個用戶生成短期記憶,加強對上文的理解
? ? ? ? Agent:為LLM提供計算、檢索等功能的支持
? ? ? ? Callback:記錄流程信息