• ?? 作者：哈哥撩編程（視頻號同名）
  • 博客專家·全國博客之星第四名
  • 超級個(gè)體·COC上海社區(qū)主理人
  • 特約講師·谷歌亞馬遜演講嘉賓
  • 科技博主·極星會(huì)首批簽約作者

  ---

• 🏆 推薦專欄：
  • 🏅 程序員：職場關(guān)鍵角色通識寶典
  • 🏅 程序員：職場效能必修寶典
  • 🏅 程序員：文心一言指令詞寶典
  • 🏅 Python全棧白寶書
  • 🏅 ChatGPT實(shí)踐指南白寶書
  • 🏅 產(chǎn)品思維訓(xùn)練白寶書
  • 🏅 全域運(yùn)營實(shí)戰(zhàn)白寶書
  • 🏅 大前端全棧架構(gòu)白寶書

---

這一章節(jié)呢，我們主要學(xué)習(xí)的是AI大模型相關(guān)的一些背景和基礎(chǔ)知識。大家可以看到這一章節(jié)的標(biāo)題是 “5分鐘速通大語言模型（LLM）的發(fā)展與基礎(chǔ)知識” ，標(biāo)題名字倒是挺唬人的，相較于唬人的標(biāo)題，大家肯定更關(guān)心的是接下來一段時(shí)間主要講哪些內(nèi)容呢？

首先，要請大家理解的是，由于內(nèi)容篇幅大、涉及的知識面和方向也挺多的，所以接下來會(huì)進(jìn)行章節(jié)內(nèi)容的拆解。第一個(gè)就是帶領(lǐng)大家了解一下大語言模型的快速發(fā)展，接著會(huì)為大家介紹一下國內(nèi)主要的 LLM 的特點(diǎn)，以及AIGC整個(gè)產(chǎn)業(yè)的拆解，包括一下專業(yè)的常見名詞，最后會(huì)和大家講一下應(yīng)用開發(fā)者在目前這樣一個(gè)大背景下的機(jī)會(huì)，最后就是實(shí)戰(zhàn)部分 Agent智能體 的項(xiàng)目，針對這個(gè)項(xiàng)目做需求分析和技術(shù)選型相關(guān)的工作，這是這一大章節(jié)的主要內(nèi)容，先來看一下 大語言模型的發(fā)展一覽 吧。

? 大語言模型的發(fā)展一覽

我們都知道，大語言模型（Large Language Model），簡稱是是 LLM 。為什么說是 AI 2.0時(shí)代 呢？這是因?yàn)樵?LLM 出現(xiàn)之前，我們將之前的時(shí)間歸結(jié)為 AI 1.0時(shí)代 。這個(gè)時(shí)候主要是各類的 NLP工程 都是一個(gè)特點(diǎn)，也就是通用性比較差。整個(gè)AI領(lǐng)域終極的形態(tài)，也是很多AI領(lǐng)域創(chuàng)業(yè)者都希望能夠達(dá)到的一個(gè)形態(tài)，就是AGI，即所謂的通用智能。

? AI 1.0 VS AI 2.0

AI 1.0時(shí)代的特點(diǎn)就是單任務(wù)的智能AI，比如說27年前的IBM公司研制的人工智能系統(tǒng) - 深藍(lán)，它的特點(diǎn)就是只會(huì)下國際象棋，通過深度學(xué)習(xí)了很多國際象棋的套路后，戰(zhàn)勝了國際象棋大師 加里·卡斯帕羅夫。這樣的人工智能，你如果向它提問超過國家象棋之外的內(nèi)容，它絕對是不知道的，這就是單任務(wù)智能AI的典型特點(diǎn)。

大語言模型的特點(diǎn)是什么？最顯著的特點(diǎn)之一就是可以通過語言與我們進(jìn)行交互，甚至可以通過自然語言的方式拓展到更多的場景，極大的可能會(huì)通過這種方式在未來發(fā)展出像AGI這樣的通用型智能，也就是向我們一樣的擁有智慧的智能體。

AI 1.0 這里就不做過多的介紹了，都是一些 NLP 相關(guān)的東西，直接從 AI 2.0 開始介紹 大語言模型的發(fā)展就好。

? 大模型發(fā)展 · 詞向量

大語言模型從技術(shù)層面來分析的話，基本上也是一個(gè)從點(diǎn)到面的過程。最早出現(xiàn)的是名為 “詞向量” 的技術(shù)，就是將自然語言的詞語通過 向量 來表示，“向量” 是一個(gè)數(shù)學(xué)概念，就相當(dāng)于是每一個(gè)詞在 向量空間 里有一個(gè)唯一的坐標(biāo)一樣。就如同下圖中的 “apple” 這個(gè)詞在向量空間中表現(xiàn)出來的就是 [1 0 0 0 0] 這樣的一個(gè)坐標(biāo)，而 “elephant” 這個(gè)詞的向量空間坐標(biāo)就與 “apple” 有所區(qū)別，它的位置是 [0 0 0 0 1] 。這樣的好處就在于，可以將我們現(xiàn)實(shí)生活中的自然語言通過數(shù)學(xué)語言的方式描述出來，通過精準(zhǔn)的坐標(biāo)可以找到位置。但是需要注意的是，詞向量無法表達(dá)詞語與詞語之間的關(guān)聯(lián)關(guān)系，另一個(gè)就是效率上也存在著一定的問題。

? 大模型發(fā)展 · 詞嵌入

在 “詞向量” 的基礎(chǔ)之上，又出現(xiàn)了 “詞嵌入技術(shù)” ，也就是 “embedding” ，在后續(xù)的實(shí)踐項(xiàng)目中也會(huì)有使用到。詞嵌入技術(shù)本質(zhì)上其實(shí)還是詞向量，其實(shí)就是對語言模型進(jìn)行預(yù)訓(xùn)練，通過對現(xiàn)有的大量文章進(jìn)行訓(xùn)練，讓原本的詞向量具備語言信息。

通過一些語言的訓(xùn)練方式，經(jīng)過預(yù)訓(xùn)練之后的詞向量，在向量空間上優(yōu)惠誕生額外的信息，就會(huì)有效的提升模型的效果，而且可以在后續(xù)的其他任務(wù)空間做遷移，這就是大語言模型的預(yù)訓(xùn)練的初始原型。

在下圖中，我們可以看到 embedding 中的 “dog” 和 “cat” ，通過坐標(biāo)的方式做了標(biāo)注，可以具備 低維向量 的表示，還可以具備語義相似、空間向量相近的特性。也就是說 “dog” 和 “cat” 通過大量的文章資料訓(xùn)練后，發(fā)現(xiàn)它們都可以歸類到 “寵物”，那么這兩個(gè)坐標(biāo)點(diǎn)在向量空間中的坐標(biāo)就是非常接近的，兩者同屬于寵物的 “向量域” ，而 “tree” 和 “flower” 就同屬于是植物的 “向量域” 。

所以，我們就可以看到 “詞向量” 實(shí)際上就是在 “低維向量” 中表示語義相似的向量空間、相近的一個(gè)特性。除此之外，詞向量還可以進(jìn)行遷移學(xué)習(xí)，將任務(wù)遷移到其他任務(wù)當(dāng)中去。前文中介紹到的 IBM公司研制的人工智能系統(tǒng) - 深藍(lán) ，就是一個(gè)活生生的例子，利用詞向量的技術(shù)將學(xué)習(xí)國際象棋的技能進(jìn)行遷移。

? 大模型發(fā)展 · 句向量與全文向量

在 “詞嵌入” 之后呢，就出現(xiàn)了 “句向量” 和 “全文向量” ，就是根據(jù)前文信息去分析下文，或者是根據(jù)本文翻譯成另一種語言，也就是說可以有效的處理時(shí)序性的序列數(shù)據(jù)。

所以，我們就可以看到如下圖中的例子，可以將 “what time is it ？” 這樣的一個(gè)句子通過一層一層的神經(jīng)網(wǎng)絡(luò)按照 “waht”、“time”、“is”、“it” 、“？” 這樣的順序做上下文的理解。

除此之外，“句向量” 還可以做到 短時(shí)記憶 和 選擇性 的遺忘，主要應(yīng)用在 文本生成、語音識別 和 圖像描述 等場景，這個(gè)時(shí)候其實(shí)已經(jīng)可以做到常見的AI識別了。

? 大模型發(fā)展 · 理解上下文

再往后發(fā)展，也就到了 理解全文上下文 的階段了，理解上下文這種模式的代表作就是 BERT大模型 。這個(gè)階段其實(shí)已經(jīng)可以完成類似完形填空這樣的任務(wù)了，就是根據(jù)上下文的理解完成代詞。比如說代表男性的 “他” ，代表女性的 “她” ，代表第三方非人的 “它” ，這個(gè)時(shí)候也就說所謂的 “真·預(yù)訓(xùn)練” 模型時(shí)代開啟了。

這個(gè)時(shí)候的顯著特點(diǎn)之一就是支持 “并行訓(xùn)練” ，和早期的 RNN、CNN 模型的只能通過一層一層的方式進(jìn)行訓(xùn)練相比，也就是 RNN、CNN 在處理 “waht time is it ？” 這樣的訓(xùn)練的時(shí)候，是一層一層處理完前一個(gè)任務(wù)之后，才會(huì)處理后一個(gè)任務(wù)。所以這種依托 “并行訓(xùn)練” 實(shí)現(xiàn)的大模型就替代了 RNN、CNN 這樣的神經(jīng)網(wǎng)絡(luò)，功能上更加的強(qiáng)大，可以實(shí)現(xiàn)類似語義識別的能力了。

? 大模型發(fā)展 · ChatGPT的出現(xiàn)

2023年，OPenAI 的 ChatGPT 的出現(xiàn)，AI領(lǐng)域正式進(jìn)入到超大模型和大模型統(tǒng)一的時(shí)代。這里的起始點(diǎn)，其實(shí)是從谷歌的 T5 模型開始的，ChatGPT中的 “T” 代表的就是谷歌的Transformer（轉(zhuǎn)換器）。

ChatGPT 引入的是 Prompt 這樣的范式進(jìn)行模型的訓(xùn)練，也就是說將 提示詞（Prompt） 告訴模型，將答案訓(xùn)練出來，不停的通過這樣的模式來持續(xù)的訓(xùn)練模型。當(dāng)我們通過 “提示詞”、“Prompt” 的方式對 ChatGPT進(jìn)行引導(dǎo)，從而得出對應(yīng)的答案。

到了這個(gè)時(shí)候，以 ChatGPT 和 GPT4 為代表的大模型，效果非常的驚艷，最新的成果就是目前的大模型都開始支持了 多模態(tài) 。也就是說開啟 文生圖、生成文字、生成圖片、甚至生成視頻 的時(shí)代，通過基于 Prompt 為范式訓(xùn)練大模型的方式，將這個(gè)標(biāo)準(zhǔn)給公布了出來。

前文介紹的，整個(gè)的大模型的發(fā)展是一個(gè)由點(diǎn)到面過程。其實(shí)就是一開始的 詞向量 的技術(shù)，發(fā)展到了 神經(jīng)網(wǎng)絡(luò) ，再到單線、并行訓(xùn)練，最后一直到現(xiàn)在這樣的大規(guī)模、超大規(guī)模的訓(xùn)練集，最終呈現(xiàn)出來的就是現(xiàn)在大家所熟知、能夠看到的一個(gè)大模型發(fā)展的一個(gè)結(jié)果。