? ? ? ?大語言模型如此火爆，查了些資料整理一下，做個初步的了解。

????????語言模型的發(fā)展從開始的統(tǒng)計方法到使用神經網絡，再到現(xiàn)在通過使用Transformer架構的模型訓練大量數(shù)據，理解文本規(guī)則和模式，同時隨著訓練數(shù)據和模型的擴大，語言模型的能力提升顯著，此時大語言模型出現(xiàn)了-LLM。

? ? ? ? 相比于之前的明星模型-BERT，雖然大預言模型使用的架構和預訓練任務相似，但參數(shù)數(shù)量級的提升使他們有了質的差別。BERT的參數(shù)為3.3億，GPT-2為15億，而GPT-3則有1750億參數(shù)。此時GPT-3相比之前的模型，就有解決少樣本任務的能力了，這種能力可稱為涌現(xiàn)能力。

LLM的獨特能力

? ? ? ? 上下文學習：語言模型在獲得指令或任務示例時，通過上下文生成答案，此時不需要額外訓練或更新參數(shù)。

? ? ? ? 指令微調：LLM可以處理未見過的任務，泛化能力強大。

? ? ? ? 推理能力：LLM可通過中間推理步驟的提示機制解決中間的任務得到最終的答案。

LLM的特點

? ? ? ? 模型規(guī)模大：參數(shù)通常在數(shù)十億，甚至千億規(guī)模，這也是大模型可以獲取更多信息的基礎。

? ? ? ? 預訓練和微調：LLM使用大量無標簽文本數(shù)據做預訓練，獲取通用的知識，再通過微調在單獨任務重獲得更好的效果。? ? ? ? ?

? ? ? ? 上下文理解：可解決小模型對前文理解不足的問題。

? ? ? ? 支持多模態(tài)：LLM可支持圖像、聲音等內容的擴展。

現(xiàn)有的大模型

? ? ? ? LLM大放異彩是從OpenAI發(fā)布ChatGPT開始的，后面還有Claude、PaLM、Bard等，但由于網絡原因，并不好用，而且還需要國際支付以獲取user key，國內使用不是很友好。

? ? ? ? 國內的LLM主要有文心一言、訊飛星火、通義千問等，分別由百度、訊飛、阿里推出。放開測試后只需手機號就能使用，但有些功能需要收費了。

LangChain

? ? ? ? 一個開源工具，幫助開發(fā)者調用大模型并應用于下游任務，其為LLM提供了通用接口，簡化開發(fā)流程。

? ? ? ? 主要有六個標準接口：

? ? ? ? Input/Output：用戶輸入及模型輸出的結果

? ? ? ? Data：將自由數(shù)據輸入模型訓練

? ? ? ? Chain：鏈接多個LLM或組件

? ? ? ? Memory：對每個用戶生成短期記憶，加強對上文的理解

? ? ? ? Agent：為LLM提供計算、檢索等功能的支持

? ? ? ? Callback：記錄流程信息