一、AIGC和生成式AI的概念

1-1、AIGC

Al Generated Content：AI生成內(nèi)容

1-2、生成式AI：generative ai

AIGC是生成式 AI 技術(shù)在內(nèi)容創(chuàng)作領(lǐng)域的具體應(yīng)用成果。

目前有許多知名的生成式 AI：

文本生成領(lǐng)域

• OpenAI GPT 系列
• 百度文心一言
• 阿里通義千問

圖像生成領(lǐng)域

• Midjourney
• StableDiffusion
• DALL - E 2

代碼生成領(lǐng)域

• GitHub Copilot（由 GitHub 和 OpenAI 合作開發(fā)）
• CodeGeeX（由字節(jié)跳動研發(fā)的代碼生成模型）

生成式AI是深度學(xué)習(xí)的一種應(yīng)用。

二、AI人工智能的子領(lǐng)域

2-1、機器學(xué)習(xí)

不需要人類做顯示編程、讓計算機通過算法，自行學(xué)習(xí)和改進，通過數(shù)據(jù)和經(jīng)驗來改善自身性能，自動從數(shù)據(jù)中學(xué)習(xí)模式和規(guī)律，并利用這些規(guī)律進行預(yù)測和決策。

機器學(xué)習(xí)的分支：

• 監(jiān)督學(xué)習(xí)；
• 無監(jiān)督學(xué)習(xí)；
• 強化學(xué)習(xí)。

1、監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)是指利用一組帶有標(biāo)簽（即已知輸出結(jié)果）的數(shù)據(jù)來訓(xùn)練模型，讓模型學(xué)習(xí)輸入數(shù)據(jù)和對應(yīng)標(biāo)簽之間的映射關(guān)系。訓(xùn)練完成后，模型就可以對新的、未知的數(shù)據(jù)進行預(yù)測，輸出對應(yīng)的標(biāo)簽。

監(jiān)督學(xué)習(xí)的工作模式：你拿著一個蘋果和一個香蕉，告訴孩子：“這是蘋果，它的形狀是圓的，顏色通常是紅色或綠色；這是香蕉，它的形狀是長條形，顏色通常是黃色?！焙⒆訒W(xué)習(xí)到特征與類別的對應(yīng)關(guān)系，預(yù)測出新拿出的水果是蘋果還是香蕉。

在監(jiān)督學(xué)習(xí)中，機器學(xué)習(xí)算法會接受有標(biāo)簽（期望的輸出值）的訓(xùn)練數(shù)據(jù)。每個訓(xùn)練數(shù)據(jù)點都既包括：輸入特征、期望的出數(shù)值；

算法的學(xué)習(xí)目標(biāo)是學(xué)習(xí)輸入和輸出之間的映射關(guān)系，從而在給定新的輸入特征后能夠準(zhǔn)確預(yù)測出相應(yīng)的輸出值。?

經(jīng)典的監(jiān)督學(xué)習(xí)任務(wù)：分類、回歸（對數(shù)值進行預(yù)測）

2、無監(jiān)督學(xué)習(xí)

算法的任務(wù)是自主的發(fā)現(xiàn)數(shù)據(jù)里的模式和規(guī)律。

無監(jiān)督學(xué)習(xí)的工作模式：你讓孩子觀察一堆水果，沒有直接告訴他每一個水果的名稱，而是鼓勵他自己找出如何根據(jù)形狀，顏色等屬性將這些水果分組的方法。

經(jīng)典的無監(jiān)督學(xué)習(xí)任務(wù)：聚類（把數(shù)據(jù)進行分組）?

在機器學(xué)習(xí)中，監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)都需要你明確地告訴機器(或者說孩子)數(shù)據(jù)的特征(形狀與顏色)是什么。

監(jiān)督學(xué)習(xí)需要在機器進行學(xué)習(xí)時，人為提供數(shù)據(jù)對象的類別(如蘋果或香蕉)，而無監(jiān)督學(xué)習(xí)一般沒有預(yù)設(shè)的類別標(biāo)識，通過機器自動學(xué)習(xí)數(shù)據(jù)的分布并將相似的數(shù)據(jù)對象歸為同類(如紅色圓形是蘋果)。

3、強化學(xué)習(xí)

聚焦于智能體（Agent）如何在環(huán)境中通過與環(huán)境進行交互，不斷嘗試和學(xué)習(xí)，以最大化累積獎勵。

強化學(xué)習(xí)模擬了人類和動物通過試錯來學(xué)習(xí)的過程。在強化學(xué)習(xí)的框架中，智能體處于一個特定的環(huán)境中，它會根據(jù)當(dāng)前環(huán)境的狀態(tài)做出一個動作，環(huán)境會因為智能體的動作而發(fā)生改變，同時給予智能體一個獎勵信號，智能體的目標(biāo)是通過不斷地與環(huán)境交互，學(xué)習(xí)到一個最優(yōu)的策略，使得長期累積的獎勵最大化。

強化學(xué)習(xí)的工作模式為：你不會直接教孩子蘋果和香蕉的區(qū)別，而是每次展示一個水果讓他進行判斷。如果他判斷正確，就給他一個獎勵(比如一塊糖果)；如果判斷錯誤，則不給獎勵。通過反復(fù)嘗試和反饋，孩子會通過這種獎勵機制逐漸學(xué)習(xí)到如何更準(zhǔn)確地判斷蘋果和香蕉。這種學(xué)習(xí)過程中的關(guān)鍵在于孩子需要在探索新的判斷方法和利用已有經(jīng)驗之間找到平衡，以最大化獲得獎勵的次數(shù)。

應(yīng)用場景

• 游戲領(lǐng)域：如 AlphaGo 通過強化學(xué)習(xí)擊敗人類頂級圍棋選手，以及各種電子游戲中的智能對手。
• 機器人控制：使機器人學(xué)會完成各種任務(wù)，如機器人的導(dǎo)航、抓取物體、行走等。
• 自動駕駛：讓車輛學(xué)習(xí)在不同的交通場景下做出最優(yōu)的駕駛決策。
• 金融領(lǐng)域：用于投資組合管理、交易策略優(yōu)化等。
• 資源管理：如數(shù)據(jù)中心的資源分配、能源管理系統(tǒng)中的能源調(diào)度等。

4、深度學(xué)習(xí)

深度學(xué)習(xí)是機器學(xué)習(xí)的一個方法，模擬人類大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能，讓計算機自動從大量數(shù)據(jù)中學(xué)習(xí)復(fù)雜的模式和特征，以實現(xiàn)對數(shù)據(jù)的理解、分類、預(yù)測和生成等任務(wù)。

深度學(xué)習(xí)的核心基于人工神經(jīng)網(wǎng)絡(luò)，特別是深度神經(jīng)網(wǎng)絡(luò)（DNN）。

深度學(xué)習(xí)，使用人工神經(jīng)網(wǎng)絡(luò)，模仿人腦處理信息的方式，通過層次化的方法，提取和表示數(shù)據(jù)的特征。

神經(jīng)網(wǎng)絡(luò)是由許多基本的計算和儲存單元組成，這些單元被稱為神經(jīng)元。這些神經(jīng)元通過層層連接來處理數(shù)據(jù)，所以，深度學(xué)習(xí)模型通常由許多層。

神經(jīng)網(wǎng)絡(luò)可以用于：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)。?

三、大語言模型LLM：Large Language Model

深度學(xué)習(xí)的應(yīng)用，專門用于進行自然語言處理任務(wù)。

大語言模型是基于海量文本數(shù)據(jù)進行訓(xùn)練的人工智能模型，它具有強大的語言理解和生成能力，能夠處理各種自然語言任務(wù)，如文本生成、問答系統(tǒng)、機器翻譯、摘要提取等。這些模型通常具有數(shù)十億甚至數(shù)萬億的參數(shù)，通過學(xué)習(xí)大量文本中的語言模式、語義信息和知識，來實現(xiàn)對自然語言的有效處理。

大語言模型的例子：

• OpenAI GPT 系

• 谷歌 PaLM?

• 百度文心一言

• 深言科技 DeepSeek 系列

  • DeepSeek - LLM：具備廣泛的知識覆蓋和強大的語言理解與生成能力。在多個權(quán)威評測中表現(xiàn)優(yōu)異，例如在 MMLU 評測基準(zhǔn)中，DeepSeek - LLM 67B 模型取得了較高的分?jǐn)?shù)，超過了 GPT - 3.5 Turbo。

  • DeepSeek - Coder：專注于代碼領(lǐng)域，在代碼理解和生成方面表現(xiàn)突出。在 HumanEval 代碼生成評測集上，DeepSeek - Coder 67B 模型達(dá)到了較高的通過率，超越了其他開源模型。

• 清華 ChatGLM 系列

大語言模型的應(yīng)用場景：

大語言模型，首先需要通過大量文本，進行無監(jiān)督學(xué)習(xí)。

大模型的大指：訓(xùn)練數(shù)據(jù)大、參數(shù)大！

大語言模型的技術(shù)里程碑：

2017年，谷歌團隊在論文《Attention Is All You Need》中提出的?Transformer 架構(gòu)

3-1、RNN：Recurrent Neural Network循環(huán)神經(jīng)網(wǎng)絡(luò)

在?Transformer 架構(gòu)提出之前，語言模型的主流架構(gòu)是RNN模型。

RNN按照順序逐字處理，每一步的輸出取決于先前的隱藏狀態(tài)和當(dāng)前的輸入，而且要等上一個步驟完成后才能進行當(dāng)前計算。

缺點：

1、無法并行計算，訓(xùn)練效率低

2、RNN不擅長處理長序列，即長文本。

詞之間的距離越遠(yuǎn)，前面對后面的影響越弱！所以它難以有效捕獲到長距離的語義關(guān)系。

3-2、Transformer 架構(gòu)

特點：

1、自注意力機制（解決：RNN不擅長處理長序列的問題）

2、位置編碼（詞在句子中的順序）

LLM的技術(shù)原理：

預(yù)測出現(xiàn)概率最高的下一個詞來實現(xiàn)文本生成。

1、編碼器：

編碼器將輸入的文本token化——>向量嵌入——>對向量位置編碼——>多頭自注意力層

多頭自注意力機制：計算自注意力權(quán)重

?

2、解碼器

token表示傳給解碼器，文本經(jīng)過嵌入層，位置編碼——>帶掩碼的多頭自注意力層

帶掩碼的多頭自注意力層：

解碼器本質(zhì)上是在猜下一個最可能得輸出，輸出是否符合客觀事實，模型無從得知，所以模型會一本正經(jīng)的胡說八道。?

【小結(jié)】：

編碼器用來理解和表示輸出序列；解碼器用來生成輸出序列。

四、煉成ChatGPT

1、通過大量文本，進行無監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練，得到一個能進行文本生成的基座模型；

基座模型并不等同于chatGPT背后的對話模型，此時模型有預(yù)測下一個token的能力，會根據(jù)上文補充文本，但并不擅長對話。

給出一個問題，會模擬生成更多的問題，但是并不回答問題。

2、通過人類撰寫的高質(zhì)量對話數(shù)據(jù)，對基座模型監(jiān)督微調(diào)，得到微調(diào)后的模型。

微調(diào)后的模型叫：SFT模型，擅長對問題進行回答。

3、用問題和多個對應(yīng)回答的數(shù)據(jù)，讓人類標(biāo)注員對回答進行質(zhì)量排序，基于這些數(shù)據(jù)，訓(xùn)練出一個能對回答進行評分預(yù)測的獎勵模型。?

3、讓第二步得到的微調(diào)基座模型對問題生成回答，用獎勵模型對回答評分，利用評分作為反饋，進行強化學(xué)習(xí)訓(xùn)練。

?

五、調(diào)教ChatGPT

提示工程：研究如何提高和AI的溝通質(zhì)量及效率。核心關(guān)注提示的開發(fā)和優(yōu)化。

聊天助手的局限性：

1、對于不了解的內(nèi)容，會一本正經(jīng)的胡說八道；

2、沒有反思能力?

5-1、小樣本提示

給出小樣本問答的示例，AI會一方面記憶哪些知識點，一方面向示范格式一樣模仿回應(yīng)。

5-2、思維鏈?

AI不適合做數(shù)學(xué)相關(guān)的問題！?小樣本提示沒什么幫助！

給AI的小樣本提示里，不僅包含正確的結(jié)果，也展示中間的推理步驟，AI在生成回答的時候，也會模仿著去生成中間的推理步驟，把過程分解。

5-3、分步驟思考

不用思維鏈，在問題后面加一句，讓我們分布思考！

六、武裝ChatGPT

LLM模型的短板：

借助外部的工具和數(shù)據(jù)，把AI武裝起來。

?

6-1、RAG

LLM模型所擁有的知識，收到訓(xùn)練數(shù)據(jù)的影響，所以，對于小眾細(xì)分領(lǐng)域+公司私密文檔，LLM模型并不知道對應(yīng)的知識。

解決方式：提供外部文檔，讓模型訪問外部知識庫。獲得實時且正確的數(shù)據(jù)。

RAG有利于搭建企業(yè)知識庫或個人知識庫。?

chatGPT的一些插件就是針對RAG架構(gòu)的。

若是會使用GPT的API，還可以用代碼實現(xiàn)自己的索引增強生成?！笳Z言模型的應(yīng)用開發(fā)?

6-2、PAL

LLM模型不能用作計算器，不能計算，只是生成下一個可能出現(xiàn)的token回答。

缺點：AI作為網(wǎng)店客服，會計算錯訂單總額。

解決：不讓AI直接生成計算結(jié)果，而是借助其他善于做計算的工具，如：Python解釋器。

此時，我們給AI的要求就是，在設(shè)計計算步驟時，生成得到計算結(jié)果所需的代碼+思維鏈，在小樣本提示中，寫出解決問題所需的變量賦值、數(shù)學(xué)運算等代碼，讓模型照貓畫虎。

?將AI返回的回答給到Python解釋器，讓Python解釋器執(zhí)行并返回計算的結(jié)果，結(jié)果再給回到AI。

ChatGPT的Advanced Data Analysis功能，可以被看成PAL的一個示例。

6-3、ReAct

知識截斷：

LLM模型所了解的知識，收到訓(xùn)練數(shù)據(jù)日期的影響。但是，重新訓(xùn)練模型成本很高！

解決：AI對不了解的知識上網(wǎng)搜索，把找到的答案告訴我們。——ReAct模型

讓模型動態(tài)推理，并采取行動與外界環(huán)境互動。+思維鏈

用小樣本提示展示推理與行動結(jié)合的框架。

針對問題，拆分步驟：每個步驟：推理+行動+觀察。

Action：AI模型所支持的任何行動，不僅是網(wǎng)頁搜索。

?

要把不同外部數(shù)據(jù)和工具為模型所用，用代碼實現(xiàn)，可以借助LangChain框架。幫助簡化構(gòu)建大語言模型應(yīng)用程序的流程?！笳Z言模型開發(fā)