年輕的陀思妥耶夫斯基被介紹給生成AI，通過(guò)Midjourney創(chuàng)建

一、說(shuō)明

????????我經(jīng)常與不同領(lǐng)域的同事互動(dòng)，我喜歡向幾乎沒有數(shù)據(jù)科學(xué)背景的人傳達(dá)機(jī)器學(xué)習(xí)概念的挑戰(zhàn)。在這里，我試圖用簡(jiǎn)單的術(shù)語(yǔ)解釋 GPT 是如何連接的，只是這次是書面形式。

????????在ChatGPT流行的魔術(shù)背后，有一個(gè)不受歡迎的邏輯。你給 ChatGPT 寫一個(gè)提示，它會(huì)生成文本，無(wú)論它是否準(zhǔn)確，它都類似于人類的答案。它如何能夠理解您的提示并生成連貫且易于理解的答案？請(qǐng)看本文。

二、變壓器神經(jīng)網(wǎng)絡(luò)

????????該架構(gòu)旨在處理大量非結(jié)構(gòu)化數(shù)據(jù)，在我們的例子中是文本。當(dāng)我們說(shuō)架構(gòu)時(shí)，我們的意思本質(zhì)上是一系列并行在幾層中進(jìn)行的數(shù)學(xué)運(yùn)算。通過(guò)這個(gè)方程組，引入了一些創(chuàng)新，幫助我們克服了長(zhǎng)期存在的文本生成挑戰(zhàn)。直到 5 年前，我們一直在努力解決的挑戰(zhàn)。

????????如果 GPT 已經(jīng)在這里存在了 5 年（確實(shí) GPT 論文是在 2018 年發(fā)表的），那么 GPT 不是舊消息嗎？為什么它最近變得非常受歡迎？GPT 1、2、3、3.5 （ChatGPT ） 和 4 有什么區(qū)別？

????????所有 GPT 版本都構(gòu)建在相同的架構(gòu)上。但是，每個(gè)后續(xù)模型都包含更多參數(shù)，并使用更大的文本數(shù)據(jù)集進(jìn)行訓(xùn)練。顯然，后來(lái)的 GPT 版本引入了其他新穎性，尤其是在訓(xùn)練過(guò)程中，例如通過(guò)人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)，我們將在本博客系列的第 3 部分中解釋。

2.1 向量、矩陣、張量。

????????所有這些花哨的詞本質(zhì)上都是包含數(shù)字塊的單位。這些數(shù)字經(jīng)過(guò)一系列數(shù)學(xué)運(yùn)算（主要是乘法和求和），直到我們達(dá)到最佳輸出值，這是可能結(jié)果的概率。

????????輸出值？從這個(gè)意義上說(shuō)，它是語(yǔ)言模型生成的文本，對(duì)吧？是的。那么，輸入值是什么？是我的提示嗎？是的，但不完全是。那么背后還有什么呢？

????????在繼續(xù)討論不同的文本解碼策略（這將是以下博客文章的主題）之前，消除歧義很有用。讓我們回到我們一開始問(wèn)的基本問(wèn)題。它如何理解人類語(yǔ)言？

2.2 生成式預(yù)訓(xùn)練變壓器。

????????GPT 縮寫代表的三個(gè)詞。我們觸摸了上面的轉(zhuǎn)換器部分，它代表了進(jìn)行大量計(jì)算的架構(gòu)。但是我們到底計(jì)算了什么？你甚至從哪里得到數(shù)字？它是一個(gè)語(yǔ)言模型，您要做的就是輸入一些文本。如何計(jì)算文本？

數(shù)據(jù)是不可知的。所有數(shù)據(jù)都是相同的，無(wú)論是文本、聲音還是圖像形式。

2.3 令牌?

????????我們將文本拆分為小塊（令牌），并為每個(gè)塊分配一個(gè)唯一的編號(hào)（令牌ID）。模特不認(rèn)識(shí)文字、圖像或錄音。他們學(xué)會(huì)用大量的數(shù)字（參數(shù)）來(lái)表示它們，這可以作為我們以數(shù)字形式說(shuō)明事物特征的工具。令牌是傳達(dá)含義的語(yǔ)言單位，令牌 ID 是編碼令牌的唯一數(shù)字。

????????顯然，我們?nèi)绾螛?biāo)記語(yǔ)言可能會(huì)有所不同。詞匯化可能涉及將文本拆分為句子、單詞、單詞的一部分（子單詞）甚至單個(gè)字符。

讓我們考慮一個(gè)場(chǎng)景，我們的語(yǔ)言語(yǔ)料庫(kù)中有 50，000 個(gè)代幣（類似于 GPT-2 有 50，257 個(gè)）。標(biāo)記化后我們?nèi)绾伪硎具@些單位？

Sentence: "students celebrate the graduation with a big party"
Token labels: ['[CLS]', 'students', 'celebrate', 'the', 'graduation', 'with', 'a', 'big', 'party', '[SEP]']
Token IDs: tensor([[ 101, 2493, 8439, 1996, 7665, 2007, 1037, 2502, 2283,  102]])

????????上面是一個(gè)被標(biāo)記成單詞的示例句子。令牌化方法在實(shí)現(xiàn)上可能有所不同。對(duì)于我們現(xiàn)在來(lái)說(shuō)，重要的是要了解我們通過(guò)其相應(yīng)的令牌 ID 獲取語(yǔ)言單位（標(biāo)記）的數(shù)字表示。那么，現(xiàn)在我們有了這些令牌 ID，我們是否可以簡(jiǎn)單地將它們直接輸入到進(jìn)行計(jì)算的模型中？

????????基數(shù)在數(shù)學(xué) 101 和 2493 中很重要，因?yàn)榱钆票硎緦?duì)模型很重要。因?yàn)檎?qǐng)記住，我們所做的主要是大塊數(shù)字的乘法和求和。因此，將數(shù)字乘以 101 或 2493 很重要。那么，我們?nèi)绾未_保用數(shù)字 101 表示的代幣的重要性不亞于 2493，只是因?yàn)槲覀兣銮扇我獾貥?biāo)記了它？我們?nèi)绾卧诓粚?dǎo)致虛構(gòu)排序的情況下對(duì)單詞進(jìn)行編碼？

2.4 單熱編碼。?

????????令牌的稀疏映射。獨(dú)熱編碼是我們將每個(gè)令牌投影為二進(jìn)制向量的技術(shù)。這意味著向量中只有一個(gè)元素是 1（“熱”），其余元素是 0（“冷”）。

作者圖片：獨(dú)熱編碼向量示例

????????令牌用一個(gè)向量表示，該向量在我們的語(yǔ)料庫(kù)中具有總令牌的長(zhǎng)度。簡(jiǎn)單來(lái)說(shuō)，如果我們的語(yǔ)言中有 50k 個(gè)令牌，則每個(gè)標(biāo)記都由一個(gè)向量 50k 表示，其中只有一個(gè)元素為 1，其余元素為 0。由于此投影中的每個(gè)向量?jī)H包含一個(gè)非零元素，因此將其命名為稀疏表示。但是，您可能認(rèn)為這種方法效率非常低。是的，我們?cè)O(shè)法刪除了令牌 ID 之間的人工基數(shù)，但我們無(wú)法推斷有關(guān)單詞語(yǔ)義的任何信息。我們無(wú)法通過(guò)使用稀疏向量來(lái)理解“派對(duì)”一詞是指慶?；顒?dòng)還是政治組織。此外，用大小為 50k 的向量表示每個(gè)代幣將意味著總共 50k 個(gè)長(zhǎng)度為 50k 的向量。這在所需的內(nèi)存和計(jì)算方面效率非常低。幸運(yùn)的是，我們有更好的解決方案。

2.5 嵌入。

????????令牌的密集表示形式。標(biāo)記化單元通過(guò)嵌入層，其中每個(gè)標(biāo)記都轉(zhuǎn)換為固定大小的連續(xù)向量表示。例如，在 GPT 3 的情況下，中的每個(gè)標(biāo)記都由 768 個(gè)數(shù)字的向量表示。這些數(shù)字是隨機(jī)分配的，然后在看到大量數(shù)據(jù)（訓(xùn)練）后被模型學(xué)習(xí)。

Token Label: “party”
Token : 2283
Embedding Vector Length: 768
Embedding Tensor Shape: ([1, 10, 768])Embedding vector:tensor([ 2.9950e-01, -2.3271e-01,  3.1800e-01, -1.2017e-01, -3.0701e-01,-6.1967e-01,  2.7525e-01,  3.4051e-01, -8.3757e-01, -1.2975e-02,-2.0752e-01, -2.5624e-01,  3.5545e-01,  2.1002e-01,  2.7588e-02,-1.2303e-01,  5.9052e-01, -1.1794e-01,  4.2682e-02,  7.9062e-01,2.2610e-01,  9.2405e-02, -3.2584e-01,  7.4268e-01,  4.1670e-01,-7.9906e-02,  3.6215e-01,  4.6919e-01,  7.8014e-02, -6.4713e-01,4.9873e-02, -8.9567e-02, -7.7649e-02,  3.1117e-01, -6.7861e-02,-9.7275e-01,  9.4126e-02,  4.4848e-01,  1.5413e-01,  3.5430e-01,3.6865e-02, -7.5635e-01,  5.5526e-01,  1.8341e-02,  1.3527e-01,-6.6653e-01,  9.7280e-01, -6.6816e-02,  1.0383e-01,  3.9125e-02,-2.2133e-01,  1.5785e-01, -1.8400e-01,  3.4476e-01,  1.6725e-01,-2.6855e-01, -6.8380e-01, -1.8720e-01, -3.5997e-01, -1.5782e-01,3.5001e-01,  2.4083e-01, -4.4515e-01, -7.2435e-01, -2.5413e-01,2.3536e-01,  2.8430e-01,  5.7878e-01, -7.4840e-01,  1.5779e-01,-1.7003e-01,  3.9774e-01, -1.5828e-01, -5.0969e-01, -4.7879e-01,-1.6672e-01,  7.3282e-01, -1.2093e-01,  6.9689e-02, -3.1715e-01,-7.4038e-02,  2.9851e-01,  5.7611e-01,  1.0658e+00, -1.9357e-01,1.3133e-01,  1.0120e-01, -5.2478e-01,  1.5248e-01,  6.2976e-01,-4.5310e-01,  2.9950e-01, -5.6907e-02, -2.2957e-01, -1.7587e-02,-1.9266e-01,  2.8820e-02,  3.9966e-03,  2.0535e-01,  3.6137e-01,1.7169e-01,  1.0535e-01,  1.4280e-01,  8.4879e-01, -9.0673e-01,… … …                           ])

????????上面是單詞“party”的嵌入向量示例。

????????現(xiàn)在我們有 50，000x786 大小的矢量，相比之下，50，000x50，000 個(gè)獨(dú)熱編碼的效率要高得多。

????????嵌入向量將是模型的輸入。由于密集的數(shù)字表示，我們將能夠捕獲單詞的語(yǔ)義，相似的標(biāo)記的嵌入向量將彼此更接近。

????????如何在上下文中衡量?jī)蓚€(gè)語(yǔ)言單元的相似性？有幾個(gè)函數(shù)可以測(cè)量相同大小的兩個(gè)向量之間的相似性。讓我們用一個(gè)例子來(lái)解釋它。

????????考慮一個(gè)簡(jiǎn)單的例子，我們有標(biāo)記“貓”、“狗”、“汽車”和“香蕉”的嵌入向量。為了簡(jiǎn)化起見，我們使用嵌入大小 4。這意味著將有四個(gè)學(xué)習(xí)的數(shù)字來(lái)表示每個(gè)令牌。

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity# Example word embeddings for "cat" , "dog", "car" and "banana"
embedding_cat = np.array([0.5, 0.3, -0.1, 0.9])
embedding_dog = np.array([0.6, 0.4, -0.2, 0.8])
embedding_car = np.array([0.5, 0.3, -0.1, 0.9])
embedding_banana = np.array([0.1, -0.8, 0.2, 0.4])

????????使用上面的向量，讓我們使用余弦相似度來(lái)計(jì)算相似度分?jǐn)?shù)。人類邏輯會(huì)發(fā)現(xiàn)“狗”和“貓”這個(gè)詞比“香蕉汽車”這兩個(gè)詞彼此更相關(guān)。我們可以期望數(shù)學(xué)來(lái)模擬我們的邏輯嗎？

# Calculate cosine similarity
similarity = cosine_similarity([embedding_cat], [embedding_dog])[0][0]print(f"Cosine Similarity between 'cat' and 'dog': {similarity:.4f}")# Calculate cosine similarity
similarity_2 = cosine_similarity([embedding_car], [embedding_banana])[0][0]print(f"Cosine Similarity between 'car' and 'banana': {similarity:.4f}")

"Cosine Similarity between 'cat' and 'dog': 0.9832"
"Cosine Similarity between 'car' and 'banana': 0.1511"

????????我們可以看到，單詞“cat”和“dog”的相似度得分非常高，而單詞“car”和“banana”的相似度得分非常低?，F(xiàn)在想象一下，對(duì)于我們的語(yǔ)言語(yǔ)料庫(kù)中的每 50000 個(gè)標(biāo)記，嵌入長(zhǎng)度為 768 而不是 4 個(gè)的向量。這就是我們?nèi)绾握业奖舜讼嚓P(guān)的單詞的方式。

????????現(xiàn)在，我們來(lái)看看下面兩個(gè)語(yǔ)義復(fù)雜度較高的句子。

"students celebrate the graduation with a big party""deputy leader is highly respected in the party"

????????第一句和第二句中的“黨”一詞傳達(dá)了不同的含義。大型語(yǔ)言模型如何能夠區(qū)分作為政治組織的“政黨”和作為慶祝社會(huì)活動(dòng)的“政黨”之間的區(qū)別？

????????我們能否通過(guò) token 嵌入來(lái)區(qū)分同一個(gè) token 的不同含義？事實(shí)是，盡管嵌入為我們提供了一系列優(yōu)勢(shì)，但它們不足以解決人類語(yǔ)言語(yǔ)義挑戰(zhàn)的全部復(fù)雜性。

????????自我關(guān)注。變壓器神經(jīng)網(wǎng)絡(luò)再次提供了解決方案。我們生成一組新的權(quán)重（參數(shù)的另一個(gè)名稱），即查詢矩陣、鍵矩陣和值矩陣。這些權(quán)重學(xué)習(xí)將標(biāo)記的嵌入向量表示為一組新的嵌入。如何？只需取原始嵌入的加權(quán)平均值即可。每個(gè)標(biāo)記“關(guān)注”輸入句子中的每個(gè)其他標(biāo)記（包括其自身），并計(jì)算一組注意力權(quán)重，或者換句話說(shuō)，新的所謂“上下文嵌入”。

????????它所做的只是通過(guò)分配使用標(biāo)記嵌入計(jì)算的新數(shù)字集（注意力權(quán)重）來(lái)映射輸入句子中單詞的重要性。

????????作者提供的圖片：不同上下文中 token 的注意力權(quán)重（BertViz 注意力頭視圖）

????????上面的可視化用兩句話展示了令牌“方”對(duì)其余令牌的“關(guān)注”。連接的大膽性表明了代幣的重要性或相關(guān)性。注意和“出席”是指代一系列新的數(shù)字（注意參數(shù)）及其大小的術(shù)語(yǔ)，我們用它來(lái)用數(shù)字表示單詞的重要性。在第一句中，“聚會(huì)”一詞最關(guān)注“慶?！币辉~，而在第二句中，“代表”一詞最受關(guān)注。這就是模型如何能夠通過(guò)檢查周圍的單詞來(lái)合并上下文。

????????正如我們?cè)谧⒁饬C(jī)制中提到的，我們推導(dǎo)出新的權(quán)重矩陣集，即：查詢、鍵和值（簡(jiǎn)稱 q，k，v）。它們是相同大小（通常小于嵌入向量）的級(jí)聯(lián)矩陣，被引入到體系結(jié)構(gòu)中以捕獲語(yǔ)言單元的復(fù)雜性。學(xué)習(xí)注意力參數(shù)是為了揭開單詞，單詞對(duì)，單詞對(duì)和單詞對(duì)對(duì)等之間的關(guān)系的神秘面紗。下面是查找最相關(guān)單詞的查詢、鍵和值矩陣的可視化效果。

????????圖片由作者提供：查詢鍵值矩陣及其最終概率圖示（BertViz q，k，v 視圖）

????????可視化將 q 和 k 向量表示為垂直波段，其中每個(gè)波段的粗體反映了其幅度。令牌之間的連接表示由注意力決定的權(quán)重，表明“party”的q向量與“is”，“deputy”和“respected”的k向量最顯著地對(duì)齊。

????????為了使注意力機(jī)制和q，k和v的概念不那么抽象，想象一下你去參加一個(gè)聚會(huì)，聽到了一首你愛上的驚人歌曲。派對(duì)結(jié)束后，您渴望找到這首歌并再次收聽，但您只記得歌詞中的 5 個(gè)單詞和歌曲旋律的一部分（查詢）。要找到這首歌，您決定瀏覽派對(duì)播放列表（鍵）并收聽（相似性功能）派對(duì)上播放的列表中的所有歌曲。當(dāng)您最終認(rèn)出這首歌時(shí)，您會(huì)記下歌曲的名稱（值）。

????????轉(zhuǎn)換器引入的最后一個(gè)重要技巧是將位置編碼添加到向量嵌入中。僅僅因?yàn)槲覀兿氩东@單詞的位置信息。它增強(qiáng)了我們更準(zhǔn)確地預(yù)測(cè)下一個(gè)標(biāo)記的機(jī)會(huì)，以達(dá)到真實(shí)的句子上下文。這是基本信息，因?yàn)榻?jīng)常交換單詞會(huì)完全改變上下文。例如，“蒂姆追了一輩子的云”和“云追了蒂姆一輩子”這句話在本質(zhì)上是絕對(duì)不同的。

????????到目前為止，我們?cè)诨炯?jí)別上探索的所有數(shù)學(xué)技巧，其目標(biāo)是在給定輸入令牌序列的情況下預(yù)測(cè)下一個(gè)令牌。事實(shí)上，GPT 是在一個(gè)簡(jiǎn)單的任務(wù)上進(jìn)行訓(xùn)練的，即文本生成，或者換句話說(shuō)，下一個(gè)令牌預(yù)測(cè)。問(wèn)題的核心是，我們衡量代幣的概率，給定它之前出現(xiàn)的代幣序列。

????????您可能想知道模型如何從隨機(jī)分配的數(shù)字中學(xué)習(xí)最佳數(shù)字。這可能是另一篇博客文章的主題，但這實(shí)際上是理解的基礎(chǔ)。此外，這是一個(gè)很好的跡象，表明您已經(jīng)在質(zhì)疑基礎(chǔ)知識(shí)。為了消除不明確性，我們使用了一種優(yōu)化算法，該算法根據(jù)稱為損失函數(shù)的指標(biāo)調(diào)整參數(shù)。此指標(biāo)是通過(guò)將預(yù)測(cè)值與實(shí)際值進(jìn)行比較來(lái)計(jì)算的。該模型跟蹤指標(biāo)的機(jī)會(huì)，并根據(jù)損失值的大小調(diào)整數(shù)字。這個(gè)過(guò)程一直完成，直到給定我們?cè)诜Q為超參數(shù)的算法中設(shè)置的規(guī)則，損失不能更小。一個(gè)示例超參數(shù)可以是，我們想要計(jì)算損失和調(diào)整權(quán)重的頻率。這是學(xué)習(xí)背后的基本思想。

????????我希望在這篇簡(jiǎn)短的文章中，我至少能夠稍微清除圖片。本博客系列的第二部分將重點(diǎn)介紹解碼策略，即為什么您的提示很重要。第三部分也是最后一部分將專門討論 ChatGPT 成功的關(guān)鍵因素，即通過(guò)人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)。非常感謝您的閱讀。直到下次。

三、引用：

A.瓦斯瓦尼，N.沙澤爾，N.帕爾馬，J.烏什科雷特，L.瓊斯，A.N.戈麥斯，?。Kaiser和I. Polosukhin，“注意力是你所需要的一切”，神經(jīng)信息處理系統(tǒng)進(jìn)展30（NIPS 2017），2017。

J. Vig，“轉(zhuǎn)換器模型中注意力的多尺度可視化”，計(jì)算語(yǔ)言學(xué)協(xié)會(huì)第 57 屆年會(huì)論文集：系統(tǒng)演示，第 37-42 頁(yè)，意大利佛羅倫薩，計(jì)算語(yǔ)言學(xué)協(xié)會(huì)，2019 年。

L. Tunstall、L. von Werra 和 T. Wolf，“使用變形金剛進(jìn)行自然語(yǔ)言處理，修訂版”，O'Reilly Media， Inc.，2022 年 9781098136796 月發(fā)布，ISBN：<>。

1 -懶惰的程序員博客