徐州建站短網(wǎng)址
學(xué)習(xí)李宏毅：80min快速了解大型語(yǔ)言模型（ChatGPT使用）筆記
鏈接：https://www.youtube.com/watch?v=wG8-IUtqu-s
1、創(chuàng)建一個(gè)屬于自己的GPT
目前，GPT4具備一個(gè)功能，Create a GPT。利用這個(gè)功能可以創(chuàng)建一個(gè)“屬于自己的GPT”。
例如：你有一門(mén)課的所有課件，使用這個(gè)功能，你可以將所有的PDF課件，傳到GPT上，這樣你就創(chuàng)建了一個(gè)屬于這門(mén)課程的專用GPT4。
2、ChatGPT真正做的事——文字接龍
G: Generative
P: Pre-trained
T: Transformer
Chatgpt主要在做文字接龍，根據(jù)問(wèn)題去接下一個(gè)字，然后再根據(jù)問(wèn)題+生成的第一個(gè)字再去預(yù)測(cè)下一個(gè)字，一次類推，每次預(yù)測(cè)一個(gè)token，token是由程序員之前設(shè)定的，預(yù)測(cè)下一個(gè)字的時(shí)候會(huì)面臨一個(gè)選擇，也就是不同概率的一些字讓chatgpt選擇，有的概率大，有的概率小，但是是隨機(jī)選擇的（如果每次概率最大，可能會(huì)一直重復(fù)），所以chatgpt每次回答的答案都是不一樣的。
這也是為什么ChatGPT經(jīng)常會(huì)輸出錯(cuò)誤信息的原因。
ChatGPT進(jìn)化
| GPT版本 | 模型參數(shù)量 | 訓(xùn)練數(shù)據(jù) |
|---|---|---|
| GPT-1 | 117M | 1GB |
| GPT-2 | 1542M | 40GB |
| GPT-3 | 175B | 580GB |
| GPT-4 | ? | ? |
GPT3已經(jīng)可以編程了
GPT3已經(jīng)學(xué)習(xí)了很多數(shù)據(jù)，按理來(lái)說(shuō)知識(shí)儲(chǔ)備量已經(jīng)夠了，但是它只是空有一腔知識(shí)，而不知道怎么回答。它不知道怎么回答人類的問(wèn)題，不知道自己的任務(wù)是需要回答問(wèn)題。
它需要：
首先：預(yù)訓(xùn)練，在大量數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。
督導(dǎo)式學(xué)習(xí)：也就是說(shuō)給它一些問(wèn)答的數(shù)據(jù)讓它學(xué)，讓它明白自己的任務(wù)以及如何回答問(wèn)題。
eg：臺(tái)灣最高的山是那一座？玉山
增強(qiáng)式學(xué)習(xí)：人類不用去提供答案了，而是評(píng)價(jià)模型的輸出的好壞。模型會(huì)對(duì)人類選擇好的那條回答增加概率，反之降低概率。
3、高效使用GPT
1、把需求寫(xiě)清楚
2、提供咨詢給ChatGPT，也就是把你所知道的資料都告訴他。因?yàn)樗皇窃谧鑫淖纸育?/p>
3、提供范例，也就是可以給Chatgpt提供一個(gè)例子
4、鼓勵(lì)ChatGPT想一想。、
咒語(yǔ)：
- 請(qǐng)?jiān)敿?xì)列出計(jì)算過(guò)程
- Let’s work this out in a step by step way to be sure we have the right answer.
- Let’s think step by step
5、可以上傳文檔
6、可以使用其他工具，比如 ML Paper Reader，就可以讓chat幫你查找一些相關(guān)文獻(xiàn)。使用插件之后，生成的內(nèi)容正確率都還蠻高的。
7、拆解任務(wù)，將大任務(wù)拆解，你可以自己拆解，或者也可以讓chatgpt拆解。
8、chatgpt其實(shí)會(huì)反省。你問(wèn)它，請(qǐng)檢查上述回答，它會(huì)自己反省（僅限GPT-4）