什么是生成式人工智能？

在過去幾年中，機(jī)器學(xué)習(xí)領(lǐng)域取得了迅猛進(jìn)步，創(chuàng)造了人工智能的一個(gè)新的子領(lǐng)域：生成式人工智能。這些程序通過分析大量的數(shù)字化材料產(chǎn)生新穎的文本、圖像、音樂和軟件，我將這些程序簡(jiǎn)稱為“GAIs”。

革命開始

第一波GAIs主要致力于進(jìn)行自然語言對(duì)話。被稱為“大型語言模型”（LLMs）的這些模型已經(jīng)展示出在各種任務(wù)上超凡的表現(xiàn)，擁有超越人類的能力，同時(shí)也顯示出對(duì)虛假、不合邏輯的傾向，以及表達(dá)虛假情感的傾向，比如對(duì)對(duì)話者表達(dá)愛意。它們用通俗的語言與用戶交流，并輕松解決各種復(fù)雜問題。

但這只是GAI革命的開始。支撐GAIs的技術(shù)是相當(dāng)通用的，任何可以收集和準(zhǔn)備進(jìn)行處理的數(shù)據(jù)集，GAIs都能夠?qū)W習(xí)，這在現(xiàn)代數(shù)字世界是一個(gè)相對(duì)簡(jiǎn)單的任務(wù)。

AGI vs GAI

AGI（人工通用智能）與GAI（生成式人工智能）不可混淆，AGI一直是科學(xué)家們世代追求的幻想，更不用說無數(shù)科幻電影和書籍了。值得注意的是，答案是“有條件的肯定”。在實(shí)際應(yīng)用中，這些系統(tǒng)是多才多藝的“合成大腦”，但這并不意味著它們具有人類意義上的“思想”。它們沒有獨(dú)立的目標(biāo)和欲望、偏見和愿望、情感和感覺：這些是獨(dú)特的人類特征。但是，如果我們用正確的數(shù)據(jù)對(duì)它們進(jìn)行訓(xùn)練并指導(dǎo)它們追求適當(dāng)?shù)哪繕?biāo)，這些程序可以表現(xiàn)得好像具有這些特征一樣。

GAIs vs 早期構(gòu)建智能機(jī)器

GAIs可以被指示執(zhí)行（或至少描述如何執(zhí)行）你幾乎能想到的任何任務(wù)……盡管它們可能會(huì)耐心地解釋，它們是萬事通，也是大多數(shù)領(lǐng)域的專家。

• LLMs只是進(jìn)行統(tǒng)計(jì)單詞預(yù)測(cè)，根據(jù)你提供的提示的上下文選擇下一個(gè)最有可能的單詞。但這種描述充其量是過于簡(jiǎn)化了，并掩蓋了更深層次的真相。

• LLMs是在大量信息的基礎(chǔ)上進(jìn)行訓(xùn)練的。它們處理并壓縮其龐大的訓(xùn)練集，形成一種被稱為神經(jīng)網(wǎng)絡(luò)的緊湊表示，但該網(wǎng)絡(luò)不僅僅代表單詞——它代表了它們的意義，以一種稱為嵌入的巧妙形式表達(dá)出來。

LLM了解其“世界”（在訓(xùn)練階段）；然后，它評(píng)估您提示的含義，選擇其答案的含義，并將該含義轉(zhuǎn)換為單詞。

---

---

人工智能的歷史

什么是人工智能？

這是一個(gè)容易問出但難以回答的問題，有兩個(gè)原因。首先，對(duì)于智能是什么，人們幾乎沒有達(dá)成共識(shí)。其次，憑借目前的情況，很少有理由相信機(jī)器智能與人類智能有很大的關(guān)系，即使看起來很像。

人工智能（AI）有許多提議的定義，每個(gè)定義都有其自己的側(cè)重點(diǎn)，但大多數(shù)都大致圍繞著創(chuàng)建能夠表現(xiàn)出人類智能行為的計(jì)算機(jī)程序或機(jī)器的概念。學(xué)科的奠基人之一約翰·麥卡錫（John McCarthy）在1955年描述了這一過程，“就像制造一臺(tái)機(jī)器以人類的方式行為一樣”。

術(shù)語“人工智能”起源于何處？

“人工智能”一詞的首次使用可以歸因于一個(gè)特定的個(gè)人——約翰·麥卡錫（John McCarthy），他是一位1956年在新罕布什爾州漢諾威達(dá)特茅斯學(xué)院（Dartmouth College）的助理數(shù)學(xué)教授。與其他三位更資深的研究人員（哈佛大學(xué)的馬文·明斯基、IBM的內(nèi)森·羅切斯特和貝爾電話實(shí)驗(yàn)室的克勞德·香農(nóng)）一起，麥卡錫提議在達(dá)特茅斯舉辦一次關(guān)于這個(gè)主題的夏季會(huì)議。

早期人工智能研究者是如何解決這個(gè)問題的？

在達(dá)特茅斯會(huì)議之后，對(duì)該領(lǐng)域的興趣（以及某些領(lǐng)域?qū)λ姆磳?duì)）迅速增長(zhǎng)。研究人員開始著手各種任務(wù)，從證明定理到玩游戲等。一些早期的突破性工作包括阿瑟·塞繆爾（Arthur Samuel）于1959年開發(fā)的跳棋程序。

當(dāng)時(shí)許多演示系統(tǒng)都專注于所謂的“玩具問題”，將其適用性限制在某些簡(jiǎn)化或自包含的世界中，如游戲或邏輯。這種簡(jiǎn)化在一定程度上受到當(dāng)時(shí)有限的計(jì)算能力的驅(qū)使，另一方面也因?yàn)檫@并不涉及收集大量相關(guān)數(shù)據(jù)，而當(dāng)時(shí)電子形式的數(shù)據(jù)很少。

機(jī)器學(xué)習(xí)是什么？

從其早期起源開始，人工智能研究人員就認(rèn)識(shí)到學(xué)習(xí)能力是人類智能的重要組成部分。問題是人們是如何學(xué)習(xí)的？我們能否以與人類相同的方式，或至少與人類一樣有效地編寫計(jì)算機(jī)來學(xué)習(xí)？

在機(jī)器學(xué)習(xí)中，學(xué)習(xí)是中心問題——顧名思義。說某物被學(xué)習(xí)了意味著它不僅僅被捕捉并存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù)一樣——它必須以某種方式表示出來，以便可以加以利用。一般來說，學(xué)習(xí)的計(jì)算機(jī)程序會(huì)從數(shù)據(jù)中提取模式。

---

---

生成式人工智能的原理

大型語言模型（LLMs）

大型語言模型（LLMs）是一種生成人工智能系統(tǒng)，用于以純文本形式生成對(duì)問題或提示的回應(yīng)。這些系統(tǒng)使用專門的多層次和多方面的神經(jīng)網(wǎng)絡(luò)，在非常大的自然語言文本集合上進(jìn)行訓(xùn)練，通常從互聯(lián)網(wǎng)和其他合適的來源收集而來。

基礎(chǔ)模型

訓(xùn)練一個(gè)LLM可能非常耗時(shí)和昂貴——如今，最常見的商業(yè)可用系統(tǒng)在數(shù)千臺(tái)強(qiáng)大處理器上同時(shí)訓(xùn)練數(shù)周，耗資數(shù)百萬美元。但不用擔(dān)心，這些程序通常被稱為“基礎(chǔ)模型”，具有廣泛的適用性和長(zhǎng)期的使用壽命。它們可以作為許多不同類型的專業(yè)LLM的基礎(chǔ)，盡管直接與它們交互也是完全可能的（而且很有用和有趣）。

人類反饋強(qiáng)化學(xué)習(xí)

LLM完成了對(duì)大型文本語料庫(kù)的“基礎(chǔ)訓(xùn)練”后，就要進(jìn)入“修身養(yǎng)性”的階段。這包括向它提供一系列示例，說明它應(yīng)該如何禮貌地和合作地回答問題（響應(yīng)“提示”），以及最重要的是，它不被允許說什么（當(dāng)然，這充滿了反映其開發(fā)者態(tài)度和偏見的價(jià)值判斷）。與初始訓(xùn)練步驟形成對(duì)比，初始訓(xùn)練步驟大多是自動(dòng)化過程，這個(gè)社交化步驟是通過所謂的人類反饋強(qiáng)化學(xué)習(xí)（RLHF）來完成的。RLHF就是其名，人類審查L(zhǎng)LM對(duì)一系列可能引起不當(dāng)行為的提示的反應(yīng)，然后一個(gè)人向它解釋回應(yīng)的問題（或禁止的內(nèi)容），幫助LLM改進(jìn)。

模型輸入與輸出

完成訓(xùn)練后，LLM接受用戶（你）的提示或問題作為輸入，然后對(duì)其進(jìn)行轉(zhuǎn)換，并生成一個(gè)回應(yīng)。與訓(xùn)練步驟相比，這個(gè)過程快速而簡(jiǎn)單。但是它是如何將你的輸入轉(zhuǎn)換為回應(yīng)的呢？

它們將這種“猜測(cè)下一個(gè)詞”的技術(shù)擴(kuò)展到更長(zhǎng)的序列上。然而，重要的是要理解，分析和猜測(cè)實(shí)際上不是在詞本身上進(jìn)行的；而是在所謂的標(biāo)記上進(jìn)行的——它們代表詞的部分，并且這些標(biāo)記進(jìn)一步以“嵌入”形式表達(dá)，旨在捕捉它們的含義。

大型語言模型（LLMs）如何工作？

簡(jiǎn)化的單詞級(jí)解釋忽略了LLMs如何在我們今天的計(jì)算機(jī)類別中表示這些大量的單詞集合。在任何現(xiàn)有或想象中的未來計(jì)算機(jī)系統(tǒng)中，存儲(chǔ)數(shù)千個(gè)單詞的所有可能序列都是不現(xiàn)實(shí)的：與之相比，這些序列的數(shù)量使得宇宙中的原子數(shù)量看起來微不足道。因此，研究人員重新利用了神經(jīng)網(wǎng)絡(luò)的試驗(yàn)和真實(shí)方法，將這些巨大的集合減少為更易管理的形式。

神經(jīng)網(wǎng)絡(luò)最初被應(yīng)用于解決分類問題——決定某物是什么。例如，您可能會(huì)輸入一張圖片，網(wǎng)絡(luò)將確定它是否是狗還是貓的圖像。為了有用，神經(jīng)網(wǎng)絡(luò)必須以一種使相關(guān)的輸入產(chǎn)生相似結(jié)果的方式壓縮數(shù)據(jù)。

什么是“嵌入”？

LLMs將每個(gè)單詞表示為一種特定形式的向量（列表），稱為嵌入。嵌入將給定的單詞轉(zhuǎn)換為具有特殊屬性的向量（有序數(shù)字列表）：相似的單詞具有相似的向量表示。想象一下，“朋友”，“熟人”，“同事”和“玩伴”這些詞的嵌入。目標(biāo)是，嵌入應(yīng)該將這些單詞表示為彼此相似的向量。這通過代數(shù)組合嵌入來促進(jìn)某些類型的推理。

單詞嵌入的一個(gè)缺點(diǎn)是它們并不固有地解決多義性的問題——單詞具有多個(gè)含義的能力。處理這個(gè)問題有幾種方法。例如，如果訓(xùn)練語料庫(kù)足夠詳細(xì)，單詞出現(xiàn)的上下文將傾向于聚合成統(tǒng)計(jì)簇，每個(gè)簇代表同一個(gè)單詞的不同含義。這允許LLM以模棱兩可的方式表示單詞，將其與多個(gè)嵌入相關(guān)聯(lián)。多義性的計(jì)算方法是一個(gè)持續(xù)研究的領(lǐng)域。

單詞嵌入是如何表示含義的？

當(dāng)您想知道一個(gè)詞的含義時(shí)，您會(huì)怎么做？當(dāng)然是查字典。在那里，您會(huì)找到什么？關(guān)于詞義的描述，當(dāng)然是用詞語表達(dá)的。您讀了定義后相信您理解了一個(gè)詞的含義。換句話說，就是，通過與其他單詞的關(guān)系來表示單詞的含義通常被認(rèn)為是語義的一種滿意的實(shí)際方法。

當(dāng)然，有些詞確實(shí)指的是現(xiàn)實(shí)世界中的真實(shí)事物。但是，如果您只是在單詞的領(lǐng)域內(nèi)工作，那么事實(shí)證明這并不像您想象的那么重要。在相互關(guān)聯(lián)的定義的混亂中有太多的內(nèi)在結(jié)構(gòu)，以至于您關(guān)于給定單詞的幾乎所有需要知道的東西都可以通過它與其他單詞的關(guān)系來編碼。

人工神經(jīng)網(wǎng)絡(luò)（ANN）

人工神經(jīng)網(wǎng)絡(luò)（ANN）是受到真實(shí)神經(jīng)網(wǎng)絡(luò)的某些假定組織原則啟發(fā)的計(jì)算機(jī)程序，簡(jiǎn)而言之，就是生物大腦。盡管如此，人工神經(jīng)網(wǎng)絡(luò)與真實(shí)神經(jīng)網(wǎng)絡(luò)之間的關(guān)系大多是希望的，因?yàn)閷?duì)大腦實(shí)際功能了解甚少。

人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元通常組織成層。底層也稱為“輸入”層，因?yàn)槲覀円獙⒁诸惖膱D片輸入到這里。現(xiàn)在就像真正的神經(jīng)元一樣，我們必須表示每個(gè)輸入神經(jīng)元是否被激活（“發(fā)射”）或不被激活。其他內(nèi)部層是行動(dòng)發(fā)生的地方。這些被稱為“隱藏”層，因?yàn)樗鼈儕A在輸入層和輸出層之間。每個(gè)隱藏層中的神經(jīng)元與它們上面和下面的層中的所有神經(jīng)元相連。這些相互連接被建模為數(shù)值權(quán)重，例如，零表示“未連接”，一表示“強(qiáng)連接”，負(fù)一表示負(fù)連接。

神經(jīng)網(wǎng)絡(luò)的工作原理如下：我們根據(jù)要分類的圖片設(shè)置輸入（底層）級(jí)別的神經(jīng)元的值。然后對(duì)于上一級(jí)的每個(gè)神經(jīng)元，我們通過計(jì)算下一級(jí)神經(jīng)元與較低級(jí)神經(jīng)元之間的連接的權(quán)重乘積來計(jì)算其激活值。我們繼續(xù)這個(gè)過程，從每一級(jí)橫跨，然后向上一級(jí)工作。當(dāng)我們到達(dá)頂部時(shí)，如果一切都按預(yù)期進(jìn)行，頂層的一個(gè)神經(jīng)元將被高度激活，而另一個(gè)不會(huì)，這就給了我們答案。

Transformer

Transformer是一種特殊類型的神經(jīng)網(wǎng)絡(luò)，通常用于大型語言模型（LLM）。當(dāng)一個(gè)Transformer模型被給予一句話進(jìn)行處理時(shí)，它不會(huì)單獨(dú)查看每個(gè)單詞。相反，它一次查看所有單詞，并為每對(duì)單詞計(jì)算一個(gè)“注意分?jǐn)?shù)”。注意分?jǐn)?shù)確定了句子中每個(gè)單詞應(yīng)該對(duì)其他每個(gè)單詞的解釋產(chǎn)生多大影響。

例如，如果句子是“貓坐在墊子上”，當(dāng)模型處理單詞“坐”時(shí)，它可能會(huì)更多地關(guān)注單詞“貓”（因?yàn)椤柏垺笔亲膶?duì)象），而對(duì)單詞“墊子”關(guān)注較少。但是當(dāng)處理單詞“上”時(shí)，它可能會(huì)更多地關(guān)注“墊子”。

當(dāng)你要求LLM回答問題時(shí)，類似的過程也會(huì)發(fā)生。LLM首先將您的單詞轉(zhuǎn)換為嵌入，就像它對(duì)其訓(xùn)練示例所做的那樣。然后，它以相同的方式處理您的詢問，使其能夠?qū)Ｗ⒂谳斎氲淖钪匾糠?#xff0c;并使用這些來預(yù)測(cè)如果您開始回答問題，則輸入的下一個(gè)單詞可能是什么。

Transformer vs 詞嵌入

Transformer模型利用詞嵌入來表達(dá)語言中的復(fù)雜概念。在Transformer中，每個(gè)單詞都被表示為一個(gè)高維向量，而這些向量在表示空間中的位置反映了單詞之間的語義關(guān)系。例如，具有相似含義的單詞在表示空間中可能會(huì)更加接近，而含義不同的單詞則會(huì)相對(duì)遠(yuǎn)離。

通過使用這種高維表示，Transformer能夠更好地理解和生成自然語言。它們通過學(xué)習(xí)大量文本數(shù)據(jù)，自動(dòng)調(diào)整詞嵌入向量的參數(shù)，使得模型能夠根據(jù)上下文理解單詞的含義，并生成連貫的語言輸出。Transformer模型中的注意力機(jī)制允許模型集中注意力于輸入中與當(dāng)前任務(wù)相關(guān)的部分，從而提高了模型在處理長(zhǎng)文本序列和復(fù)雜語境中的性能。

什么是token？

在語言模型中，"tokens"是指單詞、單詞部分（稱為子詞）或字符轉(zhuǎn)換成的數(shù)字列表。每個(gè)單詞或單詞部分都被映射到一個(gè)特定的數(shù)字表示，稱為token。這種映射關(guān)系通常是通過預(yù)定義的規(guī)則或算法完成的，不同的語言模型可能使用不同的tokenization方案，但重要的是要保證在相同的語境下，相同的單詞或單詞部分始終被映射到相同的token。

大多數(shù)語言模型傾向于使用子詞(tokenization)，因?yàn)檫@種方法既高效又靈活。子詞tokenization能夠處理單詞的變形、錯(cuò)字等情況，從而更好地識(shí)別單詞之間的關(guān)系。

幻覺

幻覺是指LLMs在回答問題或提示時(shí)，并不會(huì)查閱其訓(xùn)練時(shí)接觸到的所有詞序列，這是不切實(shí)際的。這意味著它們并不一定能夠訪問所有原始內(nèi)容，而只能訪問那些信息的統(tǒng)計(jì)摘要。與你一樣，LLMs可能“知道”很多詞，但它們無法重現(xiàn)創(chuàng)建它們的確切序列。

LLMs很難區(qū)分現(xiàn)實(shí)和想象。至少目前來說，它們沒有很好的方法來驗(yàn)證它們認(rèn)為或相信可能是真實(shí)的事物的準(zhǔn)確性。即使它們能夠咨詢互聯(lián)網(wǎng)等其他來源，也不能保證它們會(huì)找到可靠的信息。

大模型崗位需求

大模型時(shí)代，企業(yè)對(duì)人才的需求變了，AIGC相關(guān)崗位人才難求，薪資持續(xù)走高，AI運(yùn)營(yíng)薪資平均值約18457元，AI工程師薪資平均值約37336元，大模型算法薪資平均值約39607元。

掌握大模型技術(shù)你還能擁有更多可能性：

? 成為一名全棧大模型工程師，包括Prompt，LangChain，LoRA等技術(shù)開發(fā)、運(yùn)營(yíng)、產(chǎn)品等方向全棧工程；

? 能夠擁有模型二次訓(xùn)練和微調(diào)能力，帶領(lǐng)大家完成智能對(duì)話、文生圖等熱門應(yīng)用；

? 薪資上浮10%-20%，覆蓋更多高薪崗位，這是一個(gè)高需求、高待遇的熱門方向和領(lǐng)域；

? 更優(yōu)質(zhì)的項(xiàng)目可以為未來創(chuàng)新創(chuàng)業(yè)提供基石。

可能大家都想學(xué)習(xí)AI大模型技術(shù)，也想通過這項(xiàng)技能真正達(dá)到升職加薪，就業(yè)或是副業(yè)的目的，但是不知道該如何開始學(xué)習(xí)，因?yàn)榫W(wǎng)上的資料太多太雜亂了，如果不能系統(tǒng)的學(xué)習(xí)就相當(dāng)于是白學(xué)。為了讓大家少走彎路，少碰壁，這里我直接把全套AI技術(shù)和大模型入門資料、操作變現(xiàn)玩法都打包整理好，希望能夠真正幫助到大家。

-END-

---

👉AI大模型學(xué)習(xí)路線匯總👈

大模型學(xué)習(xí)路線圖，整體分為7個(gè)大的階段：（全套教程文末領(lǐng)取哈）

第一階段： 從大模型系統(tǒng)設(shè)計(jì)入手，講解大模型的主要方法；

第二階段： 在通過大模型提示詞工程從Prompts角度入手更好發(fā)揮模型的作用；

第三階段： 大模型平臺(tái)應(yīng)用開發(fā)借助阿里云PAI平臺(tái)構(gòu)建電商領(lǐng)域虛擬試衣系統(tǒng)；

第四階段： 大模型知識(shí)庫(kù)應(yīng)用開發(fā)以LangChain框架為例，構(gòu)建物流行業(yè)咨詢智能問答系統(tǒng)；

第五階段： 大模型微調(diào)開發(fā)借助以大健康、新零售、新媒體領(lǐng)域構(gòu)建適合當(dāng)前領(lǐng)域大模型；

第六階段： 以SD多模態(tài)大模型為主，搭建了文生圖小程序案例；

第七階段： 以大模型平臺(tái)應(yīng)用與開發(fā)為主，通過星火大模型，文心大模型等成熟大模型構(gòu)建大模型行業(yè)應(yīng)用。

👉大模型實(shí)戰(zhàn)案例👈

光學(xué)理論是沒用的，要學(xué)會(huì)跟著一起做，要?jiǎng)邮謱?shí)操，才能將自己的所學(xué)運(yùn)用到實(shí)際當(dāng)中去，這時(shí)候可以搞點(diǎn)實(shí)戰(zhàn)案例來學(xué)習(xí)。

👉大模型視頻和PDF合集👈

觀看零基礎(chǔ)學(xué)習(xí)書籍和視頻，看書籍和視頻學(xué)習(xí)是最快捷也是最有效果的方式，跟著視頻中老師的思路，從基礎(chǔ)到深入，還是很容易入門的。

👉學(xué)會(huì)后的收獲：👈

? 基于大模型全棧工程實(shí)現(xiàn)（前端、后端、產(chǎn)品經(jīng)理、設(shè)計(jì)、數(shù)據(jù)分析等），通過這門課可獲得不同能力；

? 能夠利用大模型解決相關(guān)實(shí)際項(xiàng)目需求： 大數(shù)據(jù)時(shí)代，越來越多的企業(yè)和機(jī)構(gòu)需要處理海量數(shù)據(jù)，利用大模型技術(shù)可以更好地處理這些數(shù)據(jù)，提高數(shù)據(jù)分析和決策的準(zhǔn)確性。因此，掌握大模型應(yīng)用開發(fā)技能，可以讓程序員更好地應(yīng)對(duì)實(shí)際項(xiàng)目需求；

? 基于大模型和企業(yè)數(shù)據(jù)AI應(yīng)用開發(fā)，實(shí)現(xiàn)大模型理論、掌握GPU算力、硬件、LangChain開發(fā)框架和項(xiàng)目實(shí)戰(zhàn)技能， 學(xué)會(huì)Fine-tuning垂直訓(xùn)練大模型（數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)蒸餾、大模型部署）一站式掌握；

? 能夠完成時(shí)下熱門大模型垂直領(lǐng)域模型訓(xùn)練能力，提高程序員的編碼能力： 大模型應(yīng)用開發(fā)需要掌握機(jī)器學(xué)習(xí)算法、深度學(xué)習(xí)框架等技術(shù)，這些技術(shù)的掌握可以提高程序員的編碼能力和分析能力，讓程序員更加熟練地編寫高質(zhì)量的代碼。

👉獲取方式：

😝有需要的小伙伴，可以保存圖片到wx掃描二v碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】🆓