GPT到底是什么

首先，我們需要了解GPT的全稱：Generative Pre-trained Transformer，即三個關(guān)鍵詞：生成式 預(yù)訓(xùn)練 變換模型。

（1）什么是生成式？

即能夠生成新的文本序列。

（2）什么是預(yù)訓(xùn)練？

即能夠在模型數(shù)據(jù)集基礎(chǔ)上進行無監(jiān)督學習，當學習到一些通用的特征或知識，就能夠講這些知識遷移到其他任務(wù)上。

這種無監(jiān)督學習，是沒有標簽/目標，也沒有反饋，它自己會尋找數(shù)據(jù)中隱藏的結(jié)構(gòu)。下圖展示了三種學習模式的差別，而ChatGPT采用的實無監(jiān)督學習 和 強化學習。

（3）什么是變換模型？

這是一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過對輸入序列的層層處理，得到最終的輸出。

簡單地說，它就是一個黑盒子，例如我們在做文本的翻譯任務(wù)時，當我們輸入一個中文，經(jīng)過這個黑盒子，輸出翻譯后的英文。當然，這個黑盒子內(nèi)部有一系列的復(fù)雜操作，通過一些 encoder 和 decoder 生成最終的輸出，如下圖所示。

GPT的本質(zhì)是猜概率

現(xiàn)階段的GPT都是在“玩文字游戲”，它只是在進行一次又一次的概率解題，和我們玩填字游戲是一個邏輯，只不過，我們?nèi)祟愂强恐R和智慧，而AI主要靠概率計算。經(jīng)過大量的數(shù)據(jù)訓(xùn)練后，AI預(yù)測到下圖所示的空格中可能會出現(xiàn)的最高概率的詞，進而將其進行輸出。

在基于大語言模型（LLM）基礎(chǔ)上，逐漸演進出了兩個最主流的方向：BERT 和 GPT。在GPT3.0發(fā)布前，GPT一直弱于BERT，而3.0發(fā)布之后GPT貌似一騎絕塵了。GPT方向上，最知名的玩家非OpenAI莫屬，從我們開始熟悉的GPT3.5到GPT4.0。

生成式AI全景圖

生成式AI應(yīng)用全景圖如下圖所示，可以看到，它可以做很多個類別的事情，從文本到編碼再到圖片，以及今年Sora大模型掀起的視頻生成浪潮，基于每個類別提供的動力，我們可以在其上層開發(fā)構(gòu)件潛在的應(yīng)用程序。

目前生成式AI應(yīng)用最廣泛的當屬 文本 和 編碼 了，也可以看到，文本 只是 生成式AI生態(tài)中的 一環(huán)，而不是全部，而這一環(huán)就是我們現(xiàn)在學習的 ChatGPT。

ChatGPT的進化過程

下面這張圖完整展示了ChatGPT的進化過程，經(jīng)過了多年的技術(shù)積累，最終形成了針對人類反饋信息學習的大規(guī)模預(yù)訓(xùn)練語言模型。

ChatGPT可以做什么

ChatGPT很能干，它可以干50+件事情！

其中，問答、翻譯、寫文案、提煉文字、生成代碼、代碼解釋 等是最常見的應(yīng)用場景。

ChatGPT不可以做什么
首先，我們需要知道：ChatGPT本身不是聯(lián)網(wǎng)的，它的大模型本身就存在時效性，在解決你的問題之前，它所學到的知識將始終落后當前一段時間，因為大模型的重新訓(xùn)練成本很大，因此不是每天更新的，所以不會聯(lián)網(wǎng)。

因此，我們便可以知道，ChatGPT還不會很快地取代Google和百度幫你查到最新的技術(shù)文檔，也沒法代替小愛同學幫你查詢天氣，無法替代高德地圖幫你推薦附近的美食 等等。