陽谷網(wǎng)站建設(shè)價格淘寶關(guān)鍵詞優(yōu)化軟件
ChatGPT 火遍了全網(wǎng),多個話題頻頻登上熱搜。見證了自然語言處理(NLP)技術(shù)的重大突破,體驗到通用技術(shù)的無限魅力。
GPT 模型是一種 NLP 模型,使用多層變換器(Transformer)來預(yù)測下一個單詞的概率分布,通過訓(xùn)練在大型文本語料庫上學(xué)習(xí)到的語言模式來生成自然語言文本。而 NLP 技術(shù)是人工智能領(lǐng)域的重要研究分支,被視為人工智能皇冠上的明珠。圖靈測試的假設(shè)就是針對自然語言處理技術(shù)而設(shè)計的。本質(zhì)上說,自然語言處理技術(shù)就是為了讓計算機理解人類語言。
NLP 技術(shù)其實由來已久
從 1940 年代 Warren Weaver 提出機器翻譯的思想以來,NLP 經(jīng)歷了 70 多年的發(fā)展,從技術(shù)的角度大致可分為三個階段:
NLP 1.0:基于規(guī)則的 NLP,即按照提前設(shè)定好的規(guī)則,進行自然語言理解;
NLP 2.0:基于統(tǒng)計學(xué)的 NLP,即根據(jù)語料庫中對應(yīng)搭配出現(xiàn)的概率大小來做出自然語言的理解;
NLP 3.0:基于深度學(xué)習(xí)的 NLP,利用深度學(xué)習(xí)技術(shù),構(gòu)建類似“人腦”的神經(jīng)網(wǎng)絡(luò),能夠像人腦一樣理解自然語言。

NLP 技術(shù)可分為自然語言生成(NLG)和自然語言理解(NLU)兩部分。NLG 會使用計算機創(chuàng)建人類語言文本,如 ChatGPT。NLU 會錄入文本,理解上下文和意圖,然后生成智能回復(fù),如 Siri。
NLP 基本任務(wù)
從實踐的角度講,NLP 領(lǐng)域絕大多數(shù)任務(wù)都可以歸結(jié)為下面的四大任務(wù)當(dāng)中:
(1)序列標(biāo)注:最基礎(chǔ)的自然語言處理任務(wù),包括分詞、詞性標(biāo)注、命名實體識別等。總的來說,一切需要將每個單詞/單字都給出一個類別的任務(wù)都可以歸結(jié)為這一類。這一類任務(wù)是 NLP 中最典型的任務(wù),也是很多其他任務(wù)的上游任務(wù)。典型的如中文自然語言處理,由于中文的 token 是漢字,而最小語素是由一個或多個漢字構(gòu)成的詞語,這就需要對中文文本進行分詞。分詞過程就是典型的序列標(biāo)注任務(wù)。
(2)文本分類(聚類):分類任務(wù)是機器學(xué)習(xí)領(lǐng)域的基礎(chǔ)性任務(wù),文本分類也是常見的自然語言處理任務(wù),旨在將不同長度的文本最終歸納到某個類別當(dāng)中,典型如文本分類、文本聚類、情感識別、情感計算等等都可以歸于此。從某種角度說,序列標(biāo)注任務(wù)也是一種連續(xù)進行的分類任務(wù)。
(3)關(guān)系判斷:關(guān)系判斷用于判斷兩個句子的某種關(guān)系。該類任務(wù)的場景繁雜,簡單的如文本相似度識別、文本關(guān)聯(lián)識別,復(fù)雜的如機器閱讀理解,機器問答、語義改寫等等都可以劃分為此類。
(4)生成任務(wù):生成任務(wù)用于在輸入某個文本內(nèi)容后,根據(jù)需要自動生成另一段文字。典型的如機器翻譯,文本摘要、文本擴充等等。
此外,還有一些如機器閱讀理解、關(guān)系提取、推理等任務(wù),可以視為以上四類任務(wù)的復(fù)雜組合和變體。

日常生活中,垃圾郵件過濾程序、拼寫檢查程序、語法檢查程序、自動更正、語言翻譯、情感分析、語義搜索等都屬于 NLP ?;?Transformer 架構(gòu)的新深度學(xué)習(xí)(DL)方法的出現(xiàn),為 NLP 技術(shù)的性能和功能帶來了革命性的變化?,F(xiàn)在,先進的 NLP 模型已成為現(xiàn)代搜索引擎、語音助手和聊天機器人的核心。這些應(yīng)用程序在自動處理日常訂單、路由查詢和回答常見問題時也變得日益純熟。
NLP 現(xiàn)實用例
| 初創(chuàng)公司
自然語言處理應(yīng)用在過去十年呈爆炸式增長,因為由 GPU 驅(qū)動的遞歸神經(jīng)網(wǎng)絡(luò)的改進提供了性能更好的人工智能。這使得初創(chuàng)公司得以提供語音服務(wù)、語言教師和聊天機器人等服務(wù)。
| 醫(yī)療健康
醫(yī)療健康面臨的困難之一是難以獲得。打醫(yī)生辦公室電話并一直等待的情況十分常見,與索賠代表聯(lián)系可能同樣困難。通過實施 NLP 來訓(xùn)練聊天機器人是醫(yī)療健康行業(yè)的一項新興技術(shù),可以解決醫(yī)療專業(yè)人員的短缺問題,并開創(chuàng)與患者的溝通渠道。
NLP 的另一個重要的醫(yī)療健康應(yīng)用程序是生物醫(yī)學(xué)文本挖掘(通常稱為 BioNLP)。鑒于生物文獻數(shù)量眾多,以及生物醫(yī)學(xué)出版速度不斷提高,自然語言處理是一個關(guān)鍵的工具,可以在已發(fā)表的研究中提取信息,推動生物醫(yī)學(xué)領(lǐng)域的知識進步。這非常有助于藥物研發(fā)和疾病診斷。
| 金融服務(wù)
NLP 是為金融服務(wù)公司構(gòu)建更好的聊天機器人和 AI 助理的關(guān)鍵組成部分。在眾多用于基于 NLP 的應(yīng)用程序的語言模型中,BERT 已成為機器學(xué)習(xí)領(lǐng)域 NLP 的領(lǐng)軍者及語言模型。例如,銀行可以使用 NLP 來評估信用記錄很少或沒有信用記錄的客戶信譽。
| 零售
除了醫(yī)療健康外,聊天機器人技術(shù)還常用于零售應(yīng)用程序,能夠準(zhǔn)確分析客戶查詢,并生成回復(fù)或建議。這可簡化客戶流程,并提高商店運營效率。NLP 還用于文本挖掘客戶反饋和情感分析。
技術(shù)只有實際應(yīng)用才有價值。ChatGPT 的出現(xiàn),讓更多人看到了以 NLP 為代表的人工智能技術(shù)的無限可能。作為將科技創(chuàng)新視為第一驅(qū)動力的高新技術(shù)企業(yè),思騰合力將加大相關(guān)技術(shù)研發(fā)力度,持續(xù)探索人工智能在千行百業(yè)的海量應(yīng)用場景。