前言

• 近幾個月ChatGPT爆火出圈，一路狂飆；它功能十分強大，不僅能回答各種各樣的問題，還可以信寫作，給程序找bug…
• 我經(jīng)過一段時間的深度使用后，十分汗顏，"智障對話"體驗相比，它是如此的絲滑流暢
• 作為一名技術(shù)人，情不自禁的對它的原理產(chǎn)生了十分濃厚的興趣；于是花費了一些時間去研究其實現(xiàn)技術(shù)原理，在此與大家分享

ChatGPT基本信息&原理

ChatGPT基本信息

• 研發(fā)公司：OpenAI

• 創(chuàng)立年份：2015年

• 創(chuàng)立人：馬斯克、Sam Altman及其他投資者

• 目標(biāo)：造福全人類的AI技術(shù)

• GPT(Generative Pre-trained Transformer):生成式預(yù)訓(xùn)練語言模型

• GPT作用：問答，生成文章等

• 模型發(fā)展史
  

• 參數(shù)量(單位：億)
  

• 預(yù)訓(xùn)練數(shù)據(jù)量(單位：GB)
  

原理解析

訓(xùn)練過程總覽

訓(xùn)練過程詳解

訓(xùn)練監(jiān)督策略模型

作為技術(shù)人員都知道，一直有兩個難題困擾我們：

• 讓機器理解人類通用指令下的意圖
• 生成內(nèi)容是否是高質(zhì)量

ChatGPT如何解難題？

• 數(shù)據(jù)集中隨機抽取問題，由人類標(biāo)注人員給出高質(zhì)量答案，得到多輪對話的數(shù)據(jù)，然后用這些人工標(biāo)注好的數(shù)據(jù)來微調(diào) GPT模型；由于數(shù)據(jù)來源于網(wǎng)上海量數(shù)據(jù)，通過監(jiān)督學(xué)習(xí)可以讓模型生成出更加符合我們預(yù)期的答案
  

訓(xùn)練獎勵模型（RM）

• 疊加效應(yīng)：通過人工標(biāo)注訓(xùn)練數(shù)據(jù)，來訓(xùn)練回報模型，從而使模型不斷地自我迭代完善；
• 具體如下：
  • 在上一步微調(diào)后，在數(shù)據(jù)集中隨機抽取問題，使用第一階段生成的模型，對于每個問題，生成多個不同的回答
  • 人類標(biāo)注者對輸出結(jié)果從好到差排序
  • 用這個排序結(jié)果數(shù)據(jù)來訓(xùn)練獎勵模型
  • RM模型接受一個輸入，給出評價回答質(zhì)量的分?jǐn)?shù)，從而使ChatGPT從命令驅(qū)動轉(zhuǎn)向意圖驅(qū)動，引導(dǎo)ChatGPT輸出符合人類預(yù)期的內(nèi)容。

強化學(xué)習(xí)來優(yōu)化策略(PPO)

• 使用PPO強化模型優(yōu)化獎勵模型
• 具體步驟如下：
  • 利用上段訓(xùn)練好的獎勵模型，靠獎勵打分來更新預(yù)訓(xùn)練模型參數(shù)
  • 在數(shù)據(jù)集中隨機抽取問題，使用PPO模型生成回答，并用上一階段訓(xùn)練好的RM模型給出質(zhì)量分?jǐn)?shù)
  • 將回報分?jǐn)?shù)依次傳遞，從而產(chǎn)生策略梯度，通過強化學(xué)習(xí)的方式來更新PPO模型參數(shù)
  • 不斷迭代，從而訓(xùn)練出更高質(zhì)量的模型

更多原理內(nèi)容解析

背景

ChatGPT還有很多精湛的原理，值得我們每個人去認(rèn)真的學(xué)習(xí)，從而不斷的豐富自己知識體系；該領(lǐng)域還有幾個關(guān)鍵點因文章篇幅有限等原因未能將其他的關(guān)鍵點解析在此強烈為大家推薦一個學(xué)習(xí)直播

思考題

• 國內(nèi)生成式人工智能還有哪些前沿研究成果？
• 跨模態(tài)、異構(gòu)數(shù)據(jù)爆發(fā)式增長，如何高效處理？
• 大型語言模型未來的優(yōu)化趨勢是怎樣的？
• 牽動多個應(yīng)用領(lǐng)域的底層視覺技術(shù)有哪些優(yōu)化空間？

更多詳細(xì)內(nèi)容

希望熱愛學(xué)習(xí)的讀者朋友帶著以上思考題，"CSIG企業(yè)行"的精彩直播去尋找答案

活動相關(guān)內(nèi)容：

• 主題：“圖文智能處理與多場景應(yīng)用技術(shù)展望”

• 目標(biāo)：聚焦圖像文檔處理中的結(jié)構(gòu)建模、底層視覺技術(shù)、跨媒體數(shù)據(jù)協(xié)同應(yīng)用、生成式人工智能及對話式大型語言模型等熱門話題，

• 嘉賓：特邀來自上海交大、復(fù)旦、廈門大學(xué)、中科大的頂尖學(xué)府的學(xué)者與合合信息技術(shù)團隊一道，以直播的形式分享文檔處理實踐經(jīng)驗及NLP發(fā)展趨勢，探討ChatGPT在未來的落地潛能

• 活動組織方:該活動由中國圖象圖形協(xié)會 (CSIG) 主辦 ，合合信息、CSIG文檔圖像分析與識別專業(yè)委員 會聯(lián)合承辦

• 時間：3?18日 14:00

• 直播預(yù)約入口

• 活動內(nèi)容
  

活動干貨多多，全程亮點，歡迎大家關(guān)注！

總結(jié)

• 當(dāng)前階段ChatGPT已經(jīng)大大的降低了很多行業(yè)的門檻，可以輔助專業(yè)人士大大提高效率，它很有可能成為改變世界的一項技術(shù)
• 我們每個人都應(yīng)該學(xué)習(xí)ChatGPT，它的解決問題方式完全符合大數(shù)據(jù)思維，生活在當(dāng)今的信息社會，有了大數(shù)據(jù)思維會讓我們?nèi)缁⑻硪?/li>
• GPT-4在3月15日發(fā)布，多模態(tài)一個模型，支持了強大的識圖能力，回答準(zhǔn)確性提升明顯，從發(fā)布的時間來看，迭代速度越來越快，我們要積極擁抱它，將其作為我們生活和工作的重要伙伴，讓它為我們生活帶來更多的便利和快樂，同時我們也要充分了解人工智能這項技術(shù)，掌握它的優(yōu)點和不足，不斷提高自己的技能和素質(zhì)，讓我們能夠更好的應(yīng)對未來的挑戰(zhàn)