引言：人類(lèi)以為的豐功偉績(jī)，不過(guò)是開(kāi)端的開(kāi)端……我們?cè)谖磥?lái)100年取得的技術(shù)進(jìn)步，將遠(yuǎn)超我們從控制火種到發(fā)明車(chē)輪以來(lái)所取得的一切成就?！狟y Sam Altman

說(shuō)明：ChatGPT發(fā)布后，我第一時(shí)間體驗(yàn)了它的對(duì)話、翻譯、編程、寫(xiě)作效果。隨著一行行綠色的字快速地跳出來(lái)……一種觸發(fā)了神秘力量的感覺(jué)，我預(yù)感到，一個(gè)更高維的龐然大物出現(xiàn)了。這樣的現(xiàn)象級(jí)事物，可能對(duì)各行業(yè)都影響巨大，即使盲人摸象，也值得摸一摸吧。遂陸續(xù)收集了國(guó)內(nèi)外100+文章和報(bào)告，趁春節(jié)假期稍微整理，分享給大家。整理后發(fā)現(xiàn)文章太長(zhǎng)，計(jì)劃分成上篇《背景+技術(shù)篇》，下篇會(huì)是《產(chǎn)品+商業(yè)篇》，so，快來(lái)催更呀～

01. 背景篇

**1.1 ChatGPT和OpenAI是什么？
**

ChatGPT是什么？

ChatGPT是由美國(guó)頂尖AI實(shí)驗(yàn)室OpenAI開(kāi)發(fā)的一個(gè)人工智能聊天機(jī)器人程序，2022年11月上線，上線不到一周就突破100萬(wàn)用戶。該程序使用基于GPT-3.5架構(gòu)的大語(yǔ)言模型并通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，

OpenAI是什么？

OpenAI 是美國(guó)的AI實(shí)驗(yàn)室，非營(yíng)利組織，定位是促進(jìn)和發(fā)展友好的人工智能，使人類(lèi)整體受益。OpenAI成立于2015年底，創(chuàng)始人是伊隆·馬斯克以及前YC 總裁Sam Altman。

Sam Altman是誰(shuí)？

馬斯克就不用介紹了～ Samuel Altman，85年出生的美國(guó)人，斯坦福大學(xué)計(jì)算機(jī)系輟學(xué)創(chuàng)業(yè)的極客。美國(guó)知名風(fēng)投機(jī)構(gòu)YC的總裁，硅谷創(chuàng)業(yè)教父Paul Graham的繼承人。如果你還不知道YC，你可能知道一個(gè)名人：YC的海外站——YC中國(guó)（現(xiàn)已更名奇績(jī)創(chuàng)壇）總裁正是鼎鼎大名的陸奇。

OpenAI發(fā)展歷程（主要來(lái)自維基百科）

2015年底，OpenAI成立，組織目標(biāo)是通過(guò)與其他機(jī)構(gòu)和研究者的“自由合作”，向公眾開(kāi)放專利和研究成果。2016年，OpenAI宣稱將制造“通用”機(jī)器人，希望能夠預(yù)防人工智能的災(zāi)難性影響，推動(dòng)人工智能發(fā)揮積極作用。2019年3月1日成立OpenAI LP子公司，目標(biāo)是盈利和商業(yè)化。2019年7月22日微軟投資OpenAI 10億美元，雙方合作為Azure（微軟的云服務(wù)）開(kāi)發(fā)人工智能技術(shù)。2020年6月11日宣布了GPT-3語(yǔ)言模型，微軟于2020年9月22日取得獨(dú)家授權(quán)。2022年11月30日，OpenAI發(fā)布了名為ChatGPT的自然語(yǔ)言生成式模型，以對(duì)話方式進(jìn)行交互。2023年1月：微軟和OpenAI洽談投資100億美元事宜，并希望將OpenAI的人工智能技術(shù)納入Word、Outlook、Powerpoint和其他應(yīng)用程序中。

02 技術(shù)篇

2.1 ChatGPT的核心競(jìng)爭(zhēng)力

從AI的三大核心要素：數(shù)據(jù)、算法、算力作簡(jiǎn)要整理分析。另外，在一個(gè)新事物的早期，其創(chuàng)始人的初心和愿景也非常值得關(guān)注，因此還增加一層——理念層的分析。

數(shù)據(jù)層：

在有3000億單詞的語(yǔ)料上預(yù)訓(xùn)練擁有1750億參數(shù)的模型（訓(xùn)練語(yǔ)料的60%來(lái)自于 2016 - 2019 的 C4 + 22% 來(lái)自于 WebText2 + 16% 來(lái)自于Books + 3%來(lái)自于Wikipedia）。

算法層：

基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)(Reinforcement Learning from Human Feedback, RLHF) 的威力翔實(shí)的回應(yīng)：text-davinci-003 的生成通常比 text-davinci-002長(zhǎng)([29)(]) 。ChatGPT 的回應(yīng)則更加冗長(zhǎng)，以至于用戶必須明確要求“用一句話回答我”，才能得到更加簡(jiǎn)潔的回答。這是 RLHF 的直接產(chǎn)物。公正的回應(yīng)：ChatGPT 通常對(duì)涉及多個(gè)實(shí)體利益的事件（例如政治事件）給出非常平衡的回答。這也是RLHF的產(chǎn)物。拒絕不當(dāng)問(wèn)題：這是內(nèi)容過(guò)濾器和由 RLHF 觸發(fā)的模型自身能力的結(jié)合，過(guò)濾器過(guò)濾掉一部分，然后模型再拒絕一部分。拒絕其知識(shí)范圍之外的問(wèn)題：例如，拒絕在2021 年 6 月之后發(fā)生的新事件（因?yàn)樗鼪](méi)在這之后的數(shù)據(jù)上訓(xùn)練過(guò)）。這是 RLHF 最神奇的部分，因?yàn)樗鼓Ｐ湍軌螂[式地區(qū)分哪些問(wèn)題在其知識(shí)范圍內(nèi)，哪些問(wèn)題不在其知識(shí)范圍內(nèi)?！狟y 符堯 《萬(wàn)字拆解ChatGTP技術(shù)路線圖》

算力層：

ChatGPT 的背后離不開(kāi)大模型、大數(shù)據(jù)、大算力。ChatGPT 成為 AIGC 里程碑的背后，是算力發(fā)展和數(shù)字時(shí)代形成的大數(shù)據(jù)所共同支持的大模型訓(xùn)練，才能實(shí)現(xiàn)目前的效果。由 OpenAI 研發(fā)的 ChatGPT 是微調(diào)后的 GPT-3.5系列模型，有著多達(dá) 1750 億個(gè)模型參數(shù)，并在今年年初訓(xùn)練完成。模型訓(xùn)練的背后離不開(kāi)大數(shù)據(jù)的支持，OpenAI 主要使用的公共爬蟲(chóng)數(shù)據(jù)集有著超過(guò)萬(wàn)億單詞的人類(lèi)語(yǔ)言數(shù)據(jù)集。在算力方面，GPT-3.5 在 Azure AI 超算基礎(chǔ)設(shè)施（由 V100GPU 組成的高帶寬集群）上進(jìn)行訓(xùn)練，總算力消耗約 3640 PF-days（即每秒一千萬(wàn)億次計(jì)算，運(yùn)行 3640 天）。

理念層：

1. 使命和愿景。出自O(shè)penAI官網(wǎng)介紹：OpenAI是一家AI研發(fā)和部署公司。我們的使命是確保人工通用智能惠及全人類(lèi)。OpenAI章程四個(gè)要點(diǎn)（破折號(hào)是筆者的個(gè)人理解）：* 廣泛造福社會(huì)——利他* 關(guān)注長(zhǎng)遠(yuǎn)安全問(wèn)題——保姆：）> 我們擔(dān)心通用人工智能在發(fā)展后期將演變成一場(chǎng)激烈的競(jìng)賽，導(dǎo)致缺乏充足的時(shí)間進(jìn)行安全防范。因此，如果一個(gè)與人類(lèi)價(jià)值觀相符、注重安全的項(xiàng)目領(lǐng)先于我們將近達(dá)成通用人工智能，我們承諾將停止競(jìng)賽，幷轉(zhuǎn)而協(xié)助這個(gè)項(xiàng)目。我們會(huì)針對(duì)個(gè)別情況設(shè)計(jì)具體的合作方案。不過(guò)，一個(gè)典型的觸發(fā)條件可能會(huì)是「這個(gè)項(xiàng)目在未來(lái)兩年內(nèi)能夠成功研發(fā)通用人工智能的概率超過(guò)一半」。* 引領(lǐng)技術(shù)研究——前沿* 保持合作意愿——開(kāi)放2. 創(chuàng)始人講演摘錄：From Sam Altman 萬(wàn)物摩爾定律我們需要設(shè)計(jì)一種制度擁抱這種技術(shù)化的未來(lái)，然后對(duì)構(gòu)成未來(lái)世界大部分價(jià)值的資產(chǎn)（公司和土地）征稅，以便公平地分配由此產(chǎn)生的財(cái)富。這樣做可以使未來(lái)社會(huì)的分裂性大大降低，并使每個(gè)人都能參與收益分配。即將到來(lái)的變革將圍繞著人類(lèi)最超凡脫群的能力：思考、創(chuàng)造、理解和推理。在三大技術(shù)革命（農(nóng)業(yè)革命、工業(yè)革命和計(jì)算機(jī)革命）的基礎(chǔ)上，我們將邁入第四階段：人工智能革命。如果我們作為一個(gè)共同的社會(huì)體可以負(fù)責(zé)任地進(jìn)行這項(xiàng)革命，其產(chǎn)生的足夠財(cái)富將使每個(gè)人都能得到他們所需要的東西。3. 技術(shù)理念（From 張俊林《通向AGI之路：大型語(yǔ)言模型（LLM）技術(shù)精要》）OpenAI是怎么看待LLM的呢？回顧它不斷推出的技術(shù)，可以看出，它其實(shí)從GPT 1.0開(kāi)始，基本就堅(jiān)定地把LLM看作是通往AGI的一條必由之路。具體而言，在OpenAI眼中，未來(lái)的AGI應(yīng)該長(zhǎng)這個(gè)樣子：有一個(gè)任務(wù)無(wú)關(guān)的超大型LLM，用來(lái)從海量數(shù)據(jù)中學(xué)習(xí)各種知識(shí)，這個(gè)LLM以生成一切的方式，來(lái)解決各種各樣的實(shí)際問(wèn)題，而且它應(yīng)該能聽(tīng)懂人類(lèi)的命令，以便于人類(lèi)使用。其實(shí)對(duì)LLM發(fā)展理念的理解，在前半部分，就是“構(gòu)建一個(gè)任務(wù)無(wú)關(guān)的超大型LLM，讓它從海量數(shù)據(jù)中學(xué)習(xí)各種知識(shí)”，這一點(diǎn)幾乎是大家的共識(shí)，能體現(xiàn)出OpenAI眼光的其實(shí)是后半部分。OpenAI的理念比較超前，對(duì)自我定位從一開(kāi)始就定得比較高，始終堅(jiān)定不移地探索上述方式是否可以實(shí)現(xiàn)AGI。OpenAI之所以能作出ChatGPT，勝在一個(gè)是定位比較高，另一個(gè)是不受外界干擾，態(tài)度上堅(jiān)定不移。

2.2 GPT進(jìn)化歷程

模型維度（By 符堯)

大模型技術(shù)架構(gòu)演進(jìn)

研發(fā)大模型的金主們

數(shù)據(jù)量和大模型表現(xiàn)統(tǒng)計(jì)圖

大模型為什么如此全能？

2.3 ChatGPT體驗(yàn)和分析

體驗(yàn)層面分析：近乎真人一樣的理解能力，模型的魯棒性非常好。經(jīng)過(guò)道德訓(xùn)練，不評(píng)價(jià)人，你很難抓住它的把柄。如果沒(méi)有這一條，chatGTP早被玩壞了，一堆的威脅論和口水戰(zhàn)足以讓它下線。更重fact，而不是opinion。你好像在跟一個(gè)理智而不是情緒主導(dǎo)的朋友聊天。中文略遜于英文。如果你讓它作一首十四行詩(shī)，你會(huì)被漂亮的押韻驚訝到。如果許淵沖在世，這個(gè)愛(ài)玩中英法押韻的老人家估計(jì)能找到對(duì)手了。不了解2022年之后的世界。比如2022年卡塔爾世界杯，它會(huì)很老實(shí)地說(shuō)自己不知道2022年之后的世界。這可能也是ChatGTP遜色于搜索引擎最大的地方。畢竟，一年的信息Gap足以讓很多知識(shí)大打折扣。最后，如果你在問(wèn)題里埋了陷阱，你可能會(huì)發(fā)現(xiàn)它在一本正經(jīng)地胡說(shuō)八道。

技術(shù)層分析（By 張俊林）：ChatGPT的最大貢獻(xiàn)在于：基本實(shí)現(xiàn)了理想LLM（大語(yǔ)言模型）的接口層，讓LLM適配人的習(xí)慣命令表達(dá)方式，而不是反過(guò)來(lái)讓人去適配LLM，絞盡腦汁地想出一個(gè)能Work的命令（這就是instruct技術(shù)出來(lái)之前，prompt技術(shù)在做的事情），而這增加了LLM的易用性和用戶體驗(yàn)。是InstructGPT/ChatGPT首先意識(shí)到這個(gè)問(wèn)題，并給出了很好的解決方案，這也是它最大的技術(shù)貢獻(xiàn)。相對(duì)之前的few shot prompting，它是一種更符合人類(lèi)表達(dá)習(xí)慣的人和LLM進(jìn)行交互的人機(jī)接口技術(shù)。GTP/BERT這樣的大模型出現(xiàn)后，可能導(dǎo)致一部分中間任務(wù)消亡。典型的中間任務(wù)包括：中文分詞、詞性標(biāo)注、NER、句法分析、指代消解、語(yǔ)義Parser等，這類(lèi)任務(wù)一般并不解決應(yīng)用中的實(shí)際需求，大多數(shù)是作為那些解決實(shí)際需求任務(wù)的中間階段或者輔助階段存在的。自從Bert／GPT出現(xiàn)之后，其實(shí)就沒(méi)有必要做這些中間任務(wù)了，因?yàn)橥ㄟ^(guò)大量數(shù)據(jù)的預(yù)訓(xùn)練，Bert／GPT已經(jīng)把這些中間任務(wù)作為語(yǔ)言學(xué)特征，吸收到了Transformer的參數(shù)里，此時(shí)我們完全可以端到端地直接解決那些最終任務(wù)，而無(wú)須對(duì)這種中間過(guò)程專門(mén)建模。這點(diǎn)從統(tǒng)計(jì)機(jī)器翻譯到神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯也有類(lèi)似發(fā)展過(guò)程。

局限和弱點(diǎn)分析：以下是不同渠道的一些局限分析：指標(biāo)缺陷：其獎(jiǎng)勵(lì)模型圍繞人類(lèi)監(jiān)督而設(shè)計(jì)，可能導(dǎo)致過(guò)度優(yōu)化，從而影響性能，這種如何確定衡量指標(biāo)的難題在它身上也少不了。就像機(jī)器翻譯的Bleu值，一直被吐槽，但找不到更好更方便的評(píng)估方式。無(wú)法實(shí)時(shí)改寫(xiě)模型的信念：當(dāng)模型表達(dá)對(duì)某個(gè)事物的信念時(shí)，即使該信念是錯(cuò)誤的，也很難糾正它。這，簡(jiǎn)直就像一個(gè)倔強(qiáng)的老頭。知識(shí)非實(shí)時(shí)更新：模型的內(nèi)部知識(shí)停留在2021年，對(duì)2022年之后的新聞沒(méi)有納入。這點(diǎn)在體驗(yàn)層面也說(shuō)到了。模態(tài)單一：目前的ChatGPT擅長(zhǎng)NLP和Code任務(wù)，作為通向AGI的重要種子選手，將圖像、視頻、音頻等圖像與多模態(tài)集成進(jìn)入LLM，乃至AI for Science、機(jī)器人控制等更多、差異化更明顯的其它領(lǐng)域逐步納入LLM，是LLM通往AGI的必經(jīng)之路。而這個(gè)方向才剛剛開(kāi)始，因此具備很高的研究?jī)r(jià)值。高成本：超級(jí)大模型因?yàn)槟Ｐ鸵?guī)模大，所以訓(xùn)練成本過(guò)高，導(dǎo)致很少有機(jī)構(gòu)有能力去做這件事。

結(jié)語(yǔ)，一些非結(jié)構(gòu)化的感想

• 就像以太坊創(chuàng)始人V神所說(shuō)的，一個(gè)譯后編輯的時(shí)代已經(jīng)到來(lái)。AI預(yù)先編程、預(yù)先草擬內(nèi)容，人類(lèi)來(lái)修改。實(shí)際上，在翻譯領(lǐng)域，這場(chǎng)革命已經(jīng)開(kāi)始，筆者在做的一個(gè)項(xiàng)目(www.languagex.com)就是這個(gè)方向。BTW，用LanguageX可以使用全球16個(gè)主流翻譯引擎翻譯，包括chatGPT，歡迎嘗試（下圖）。 如果我們作為一個(gè)共同的社會(huì)體可以負(fù)責(zé)任地進(jìn)行這項(xiàng)革命（AI革命），其產(chǎn)生的財(cái)富足夠每個(gè)人都能得到他們所需要的東西?！猄am 忘了，"人類(lèi)的需要"是一個(gè)無(wú)底洞。不過(guò)，這句話的啟發(fā)是：AI革命將極大提升社會(huì)生產(chǎn)力，創(chuàng)造巨額財(cái)富。 如果一個(gè)與人類(lèi)價(jià)值觀相符、注重安全的項(xiàng)目領(lǐng)先于我們將近達(dá)成通用人工智能，我們承諾將停止競(jìng)賽，幷轉(zhuǎn)而協(xié)助這個(gè)項(xiàng)目——純粹、立志服務(wù)于人的美好發(fā)心，才可以產(chǎn)生美好的愿景，才能做到足夠開(kāi)放，值得吸引頂級(jí)的頭腦去奮斗，值得頂級(jí)的資本投入。 多元，而不是壟斷。雖然多元或賽馬消耗社會(huì)資源，但永遠(yuǎn)是最安全的方式，如果微軟完全控制了OpenAI，我倒希望還有一個(gè)足以牽制和抗衡它的AI機(jī)構(gòu)，比如DeepMind，或者其他。 大多數(shù)某領(lǐng)域所謂“獨(dú)有”的問(wèn)題，大概率只是缺乏領(lǐng)域知識(shí)導(dǎo)致的一種外在表象，只要領(lǐng)域知識(shí)足夠多，這個(gè)所謂領(lǐng)域獨(dú)有的問(wèn)題，就可以被很好地解決掉，其實(shí)并不需要專門(mén)針對(duì)某個(gè)具體領(lǐng)域問(wèn)題，冥思苦想去提出專用解決方案。也許AGI的真相超乎意料地簡(jiǎn)單：你只要把這個(gè)領(lǐng)域更多的數(shù)據(jù)交給LLM，讓它自己學(xué)習(xí)更多知識(shí)即可。* ChatGPT最驚艷的技能幾乎都涉及創(chuàng)意領(lǐng)域，比如寫(xiě)作、編程、翻譯。現(xiàn)在看來(lái)，AI最有可能取代的工作包含了創(chuàng)造性工作。原來(lái)，AI眼中的難和我們眼中的難根本不是一個(gè)維度。AI也讓我們更認(rèn)識(shí)自己，逼著我們?nèi)ニ伎家恍┦挛锏谋举|(zhì)，比如意識(shí)是什么？情感是什么？創(chuàng)造是什么？日光之下，并無(wú)新事，我們所謂的“創(chuàng)新”，很大程度上，是不是也是一種沿襲（知識(shí)學(xué)習(xí)）和重組（內(nèi)容生成）？* AI也將讓我們審視，人類(lèi)有什么是不可替代的？什么是人類(lèi)更底層的東西？什么是更寶貴更獨(dú)特的人類(lèi)特質(zhì)？什么是應(yīng)該外包給AI的？人類(lèi)應(yīng)該把時(shí)間和生命花費(fèi)在什么事物上？

（LanguageX的多機(jī)翻引擎陣列）

---

預(yù)告：如果催更力度達(dá)到一定閾值， 還會(huì)整理一篇產(chǎn)品和商業(yè)視角的ChatGPT～

One more thing，福利：

1、有5個(gè)比較值得研讀的AIGC報(bào)告，在本公眾號(hào)后臺(tái)回復(fù)“chatgpt”可下載；

附：名詞解釋

AIGC：AI Generated Content ，人工智能自動(dòng)生成內(nèi)容NLP：Natural Language Processing，自然語(yǔ)言處理LLM：Large language model，大語(yǔ)言模型AGI：Artificial general intelligence，通用人工智能Prompt：提示詞Fine-tuning：模型調(diào)優(yōu)ML：Machine Learning，機(jī)器學(xué)習(xí)DL：Deep Learning，深度學(xué)習(xí)GPU：Graphics Processing Unit ，深度學(xué)習(xí)用的顯卡BERT：Bidirectional Encoder Representations from Transformers”，雙向編碼器表示RLHF：Reinforcement Learning from Human Feedback，基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)

一些信息量較大的延伸閱讀：

OpenAI章程：https://openai.com/charter/紅杉資本：生成式AI，一個(gè)創(chuàng)意新世界 https://www.sequoiacap.com/article/generative-ai-a-creative-new-world/2022年32篇最佳AI論文 https://hub.baai.ac.cn/view/22798萬(wàn)字拆解GTP技術(shù)路線圖 https://mp.weixin.qq.com/s/7N3HveaIfn2N-zKjBoRL1A吳恩達(dá)的2022年終盤(pán)點(diǎn)：生成式AI、ViT、大模型 https://mp.weixin.qq.com/s/nagtjtYD98OlJlyddt78Aw一文帶你了解生成式AI：https://mp.weixin.qq.com/s/ZE-nyGnCx-bLXwf2rhraTA陳巍談芯：ChatGPT特點(diǎn)、原理、技術(shù)架構(gòu)和產(chǎn)業(yè)未來(lái) https://zhuanlan.zhihu.com/p/590655677OpenAI CEO Sam Altman：AI 將是移動(dòng)互聯(lián)網(wǎng)后新的基礎(chǔ)平臺(tái)https://mp.weixin.qq.com/s/hwfk1j33uLsbiDUA89p9vA爆火的chatGPT，和它的前世今生：https://m.huxiu.com/article/733716.html關(guān)于微軟和OpenAI，以及GPT的那些事 Generative AI is here: How tools like ChatGPT could change your business基于ChatGTP的項(xiàng)目：https://www.zhihu.com/question/570189639/answer/2793888150通向AGI之路：大型語(yǔ)言模型（LLM）技術(shù)精要 https://zhuanlan.zhihu.com/p/597586623