徐州建站短網(wǎng)址
學(xué)習(xí)李宏毅:80min快速了解大型語(yǔ)言模型(ChatGPT使用)筆記
鏈接:https://www.youtube.com/watch?v=wG8-IUtqu-s
1、創(chuàng)建一個(gè)屬于自己的GPT
目前,GPT4具備一個(gè)功能,Create a GPT。利用這個(gè)功能可以創(chuàng)建一個(gè)“屬于自己的GPT”。
例如:你有一門(mén)課的所有課件,使用這個(gè)功能,你可以將所有的PDF課件,傳到GPT上,這樣你就創(chuàng)建了一個(gè)屬于這門(mén)課程的專用GPT4。
2、ChatGPT真正做的事——文字接龍
G: Generative
P: Pre-trained
T: Transformer
Chatgpt主要在做文字接龍,根據(jù)問(wèn)題去接下一個(gè)字,然后再根據(jù)問(wèn)題+生成的第一個(gè)字再去預(yù)測(cè)下一個(gè)字,一次類推,每次預(yù)測(cè)一個(gè)token,token是由程序員之前設(shè)定的,預(yù)測(cè)下一個(gè)字的時(shí)候會(huì)面臨一個(gè)選擇,也就是不同概率的一些字讓chatgpt選擇,有的概率大,有的概率小,但是是隨機(jī)選擇的(如果每次概率最大,可能會(huì)一直重復(fù)),所以chatgpt每次回答的答案都是不一樣的。
這也是為什么ChatGPT經(jīng)常會(huì)輸出錯(cuò)誤信息的原因。
ChatGPT進(jìn)化
GPT版本 | 模型參數(shù)量 | 訓(xùn)練數(shù)據(jù) |
---|---|---|
GPT-1 | 117M | 1GB |
GPT-2 | 1542M | 40GB |
GPT-3 | 175B | 580GB |
GPT-4 | ? | ? |
GPT3已經(jīng)可以編程了
GPT3已經(jīng)學(xué)習(xí)了很多數(shù)據(jù),按理來(lái)說(shuō)知識(shí)儲(chǔ)備量已經(jīng)夠了,但是它只是空有一腔知識(shí),而不知道怎么回答。它不知道怎么回答人類的問(wèn)題,不知道自己的任務(wù)是需要回答問(wèn)題。
它需要:
首先:預(yù)訓(xùn)練,在大量數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。
督導(dǎo)式學(xué)習(xí):也就是說(shuō)給它一些問(wèn)答的數(shù)據(jù)讓它學(xué),讓它明白自己的任務(wù)以及如何回答問(wèn)題。
eg:臺(tái)灣最高的山是那一座?玉山
增強(qiáng)式學(xué)習(xí):人類不用去提供答案了,而是評(píng)價(jià)模型的輸出的好壞。模型會(huì)對(duì)人類選擇好的那條回答增加概率,反之降低概率。
3、高效使用GPT
1、把需求寫(xiě)清楚
2、提供咨詢給ChatGPT,也就是把你所知道的資料都告訴他。因?yàn)樗皇窃谧鑫淖纸育?/p>
3、提供范例,也就是可以給Chatgpt提供一個(gè)例子
4、鼓勵(lì)ChatGPT想一想。、
咒語(yǔ):
- 請(qǐng)?jiān)敿?xì)列出計(jì)算過(guò)程
- Let’s work this out in a step by step way to be sure we have the right answer.
- Let’s think step by step
5、可以上傳文檔
6、可以使用其他工具,比如 ML Paper Reader,就可以讓chat幫你查找一些相關(guān)文獻(xiàn)。使用插件之后,生成的內(nèi)容正確率都還蠻高的。
7、拆解任務(wù),將大任務(wù)拆解,你可以自己拆解,或者也可以讓chatgpt拆解。
8、chatgpt其實(shí)會(huì)反省。你問(wèn)它,請(qǐng)檢查上述回答,它會(huì)自己反省(僅限GPT-4)