最近很多朋友搞不懂大模型和大預(yù)言模型的區(qū)別，總是把大模型就認(rèn)為是大語(yǔ)言模型。
今天就用這篇帖子做一個(gè)科普。

大模型

概念：大模型是指擁有超大規(guī)模參數(shù)（通常在十億個(gè)以上）、復(fù)雜計(jì)算結(jié)構(gòu)的機(jī)器學(xué)習(xí)模型。它通常能夠處理海量數(shù)據(jù)，完成各種復(fù)雜任務(wù)，如自然語(yǔ)言處理、圖像識(shí)別等。

大語(yǔ)言模型

概念：大語(yǔ)言模型（Large Language Model，簡(jiǎn)稱LLM），指使用大量文本數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)模型，可以生成自然語(yǔ)言文本或理解語(yǔ)言文本的含義。大語(yǔ)言模型可以處理多種自然語(yǔ)言任務(wù)，如文本分類、問(wèn)答、對(duì)話等，是通向人工智能的重要途徑。

很明顯兩者是有明顯區(qū)別的，大語(yǔ)言模型通常是指我們所用到的對(duì)話形式的模型，例如ChatGPT、文心一言之類的模型；而大模型是對(duì)超大規(guī)模參數(shù)的模型統(tǒng)稱。

大模型的分類

模型的發(fā)展最初是伴隨著自然語(yǔ)言處理技術(shù)的不斷發(fā)展的，這是由于文本數(shù)據(jù)的數(shù)據(jù)量更大且更容易獲取。所以目前大模型最大的分類還是大語(yǔ)言模型，近兩年衍生出一些語(yǔ)言與其他形式融合的大模型，例如：

• 文字生成音樂(lè)（MusicLM）
• 文字生成圖像（DALL-E2，Midjourney）
• 文字圖像生成機(jī)器人動(dòng)作（RT-1）

大模型包括但不限于以下幾類：

• 大語(yǔ)言模型（LLM）：專注于處理自然語(yǔ)言，能夠理解、生成和處理大規(guī)模文本數(shù)據(jù)。大語(yǔ)言模型在機(jī)器翻譯、文本生成、對(duì)話系統(tǒng)等任務(wù)上取得顯著成果。OpenAI的GPT系列是其中的代表，包括最新的GPT-4、文心一言、通義千問(wèn)。開(kāi)源大模型中有meta 開(kāi)源的 LLaMA、ChatGLM - 6B、Yi-34B-Chat。你可能會(huì)發(fā)現(xiàn)了國(guó)內(nèi)的開(kāi)源模型中，如果名字命名存在chat這個(gè)單詞的，大概率是大語(yǔ)言模型。

• 視覺(jué)大模型：專注于計(jì)算機(jī)視覺(jué)任務(wù)，例如圖像分類、目標(biāo)檢測(cè)、圖像生成等。它們能夠從圖像中提取有關(guān)對(duì)象、場(chǎng)景和結(jié)構(gòu)的信息。例如Vision Transformer（ViT）就是一種基于自注意力機(jī)制的視覺(jué)大模型，用于圖像分類任務(wù)。

• 多模態(tài)大模型：能夠處理多種不同類型的數(shù)據(jù)，如文本、圖像、音頻等，并在這些數(shù)據(jù)之間建立關(guān)聯(lián)。多模態(tài)大模型在處理涉及多種感知輸入的任務(wù)上表現(xiàn)出色，如文圖融合、圖像描述生成等。多模態(tài)是大模型接下來(lái)發(fā)展的一大趨勢(shì)。國(guó)內(nèi)的華為盤(pán)古大模型就是一個(gè)多模態(tài)大模型，能夠同時(shí)理解文本和圖像，用于任務(wù)如圖像分類和自然語(yǔ)言推理，國(guó)外的谷歌Gemini也是一個(gè)多模態(tài)大模型。

• 決策大模型：專注于進(jìn)行決策和規(guī)劃，通常應(yīng)用于強(qiáng)化學(xué)習(xí)等領(lǐng)域。它們能夠在面對(duì)不確定性和復(fù)雜環(huán)境時(shí)做出智能決策。深度強(qiáng)化學(xué)習(xí)中的模型，如AlphaGo和AlphaZero，是決策大模型的代表，能夠在圍棋等游戲中取得超人類水平的表現(xiàn)。

• 行業(yè)垂直大模型：專門(mén)設(shè)計(jì)用于特定行業(yè)或領(lǐng)域的任務(wù)，如醫(yī)學(xué)、環(huán)境、教育等。它們通常在處理特定領(lǐng)域的數(shù)據(jù)和問(wèn)題時(shí)表現(xiàn)出色。在醫(yī)療領(lǐng)域有DoctorGPT、華佗GPT，大規(guī)模的醫(yī)學(xué)圖像處理模型用于診斷和分析。在金融領(lǐng)域，模型可能用于風(fēng)險(xiǎn)評(píng)估和交易策略。攜程的問(wèn)道是旅游行業(yè)的大模型等等。

由此可見(jiàn)，大語(yǔ)言模型只是大模型的一個(gè)分類，我們有時(shí)候簡(jiǎn)稱大模型倒也沒(méi)有什么問(wèn)題。不過(guò)要注意提醒大家一點(diǎn)，大語(yǔ)言模型和行業(yè)垂直大模型是有非常明顯的區(qū)別的，他們的訓(xùn)練數(shù)據(jù)側(cè)重點(diǎn)不一樣，大語(yǔ)言模型更多是理解我們的話里話外的意思，主要負(fù)責(zé)和人類溝通對(duì)話的能力，行業(yè)大模型更多是基于語(yǔ)言大模型的基礎(chǔ)上再進(jìn)一步對(duì)某些行業(yè)的專業(yè)知識(shí)進(jìn)行更加深層級(jí)的訓(xùn)練。因此你會(huì)發(fā)現(xiàn)你在用chatGPT類似ai工具的時(shí)候，當(dāng)問(wèn)到一些專業(yè)知識(shí)的時(shí)候，經(jīng)常會(huì)出現(xiàn)AI幻覺(jué)。

舉個(gè)簡(jiǎn)單的例子是，開(kāi)源的LLaMA大模型是一個(gè)大語(yǔ)言模型，很多行業(yè)大模型都是從這個(gè)大語(yǔ)言模型的基礎(chǔ)性調(diào)教出來(lái)的，它就像一個(gè)正在讀醫(yī)的大學(xué)生。DoctorGPT這個(gè)產(chǎn)品就像是一個(gè)從業(yè)多年的醫(yī)科教授。因此你問(wèn)一些專業(yè)的醫(yī)科問(wèn)題的時(shí)候，肯定是醫(yī)科教授回答更加精準(zhǔn)，一些簡(jiǎn)單的問(wèn)題可能大學(xué)生也能回答。