1 ChatGPT的時(shí)代

2015年，馬斯克、美國(guó)創(chuàng)業(yè)孵化器Y Combinator總裁阿爾特曼、全球在線支付平臺(tái)PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等硅谷科技大亨創(chuàng)立了OpenAI，公司核心宗旨在于實(shí)現(xiàn)安全的通用人工智能(AGI)，使其有益于人類(lèi)。

2022年12 月 1 日，OpenAI的聯(lián)合創(chuàng)始人山姆·奧特曼在推特上公布ChatGPT并邀請(qǐng)人們免費(fèi)試用

圖源網(wǎng)絡(luò)，侵刪

ChatGPT可以與人類(lèi)進(jìn)行談話般的交互，可以回答追問(wèn)，連續(xù)性的問(wèn)題，承認(rèn)其回答中的錯(cuò)誤，指出人類(lèi)提問(wèn)時(shí)的不正確前提，拒絕回答不適當(dāng)?shù)膯?wèn)題，其性能大大超乎人們對(duì)弱人工智能的想象。

ChatGPT對(duì)社會(huì)發(fā)展的影響非常廣泛，以下是ChatGPT的自白：

大家好，我是ChatGPT，接下來(lái)介紹我對(duì)社會(huì)的影響。

• 我可以提高信息獲取的效率：回答各種問(wèn)題，包括科技、醫(yī)學(xué)、教育、商業(yè)等各個(gè)領(lǐng)域的問(wèn)題，幫助人們更快速、準(zhǔn)確地獲取所需信息；
• 我可以推動(dòng)智能客服的發(fā)展：模擬人類(lèi)對(duì)話，提供智能客服服務(wù)，使得客戶能夠更方便、快捷地解決問(wèn)題，提高客戶滿意度和忠誠(chéng)度；
• 我可以幫助語(yǔ)言障礙者：用多種語(yǔ)言回答問(wèn)題，幫助語(yǔ)言障礙者更方便地獲取信息和解決問(wèn)題；
• 我可以改善教育體驗(yàn)：回答學(xué)生的問(wèn)題，幫助學(xué)生更好地理解知識(shí)點(diǎn)，促進(jìn)教育效果的提高；
• 我可以促進(jìn)科研進(jìn)展：幫助科學(xué)家更快速地獲取資料，進(jìn)行數(shù)據(jù)分析和建模，從而推動(dòng)科研進(jìn)展；
• 我可以促進(jìn)文化交流：幫助人們學(xué)習(xí)其他國(guó)家和地區(qū)的語(yǔ)言和文化，促進(jìn)跨文化交流和理解；
• …

圖源網(wǎng)絡(luò)，侵刪

2 CSIG企業(yè)行

雖然以ChatGPT為代表的AI黑科技產(chǎn)品一路狂飆、大規(guī)模落地，但仍然有一系列問(wèn)題值得思考：

• 國(guó)內(nèi)生成式人工智能還有哪些前沿研究成果？
• 跨模態(tài)、異構(gòu)數(shù)據(jù)爆發(fā)式增長(zhǎng)，如何高效處理？
• 大型語(yǔ)言模型未來(lái)的優(yōu)化趨勢(shì)是怎樣的？
• 牽動(dòng)多個(gè)應(yīng)用領(lǐng)域的底層視覺(jué)技術(shù)有哪些優(yōu)化空間？
• …

2023年3月18日，由中國(guó)圖象圖形協(xié)會(huì)（CSIG）主辦，合合信息、CSIG文檔圖像分析與識(shí)別專(zhuān)業(yè)委員會(huì)聯(lián)合承辦的“CSIG圖像圖形企業(yè)行”系列活動(dòng)將正式舉辦，通過(guò)搭建學(xué)術(shù)界與企業(yè)交流合作平臺(tái)，為企業(yè)創(chuàng)新發(fā)展提供科技支撐，為圖像圖形領(lǐng)域高校師生提供與企業(yè)互動(dòng)機(jī)會(huì)，集結(jié)產(chǎn)學(xué)研力量，共同推動(dòng)圖像圖形領(lǐng)域的發(fā)展。

此次活動(dòng)以圖文智能處理與多場(chǎng)景應(yīng)用技術(shù)展望為主題，聚焦圖像文檔處理中的結(jié)構(gòu)建模、底層視覺(jué)技術(shù)、跨媒體數(shù)據(jù)協(xié)同應(yīng)用、生成式人工智能及對(duì)話式大型語(yǔ)言模型等熱門(mén)話題，特邀來(lái)自上海交大、復(fù)旦、廈門(mén)大學(xué)、中科大等知名院校的學(xué)者與合合信息技術(shù)團(tuán)隊(duì)一道，以直播的形式分享文檔處理實(shí)踐經(jīng)驗(yàn)及NLP發(fā)展趨勢(shì)，探討ChatGPT與文檔處理未來(lái)。

活動(dòng)干貨多多，全程亮點(diǎn)，歡迎大家關(guān)注！

3 議題&嘉賓介紹

3.1 對(duì)生成式人工智能的思考

• 嘉賓介紹：上海交通大學(xué)人工智能研究院常務(wù)副院長(zhǎng)，人工智能教育部重點(diǎn)實(shí)驗(yàn)室主任，長(zhǎng)江學(xué)者、國(guó)家杰青、IEEE Fellow。主要研究圖像處理與機(jī)器學(xué)習(xí)，獲國(guó)家科技進(jìn)步二等獎(jiǎng)、上海市科技進(jìn)步一等獎(jiǎng)、國(guó)家研究生教育成果二等獎(jiǎng)。任中國(guó)圖像圖形學(xué)會(huì)常務(wù)理事、上海市圖像圖形學(xué)會(huì)理事長(zhǎng)。
• 報(bào)告題目：《生成式人工智能》

圖源網(wǎng)絡(luò)，侵刪

生成式人工智能（Generative AI）是指一類(lèi)可以自主創(chuàng)造新的數(shù)據(jù)、文本、圖像、音頻等內(nèi)容的人工智能算法。

從 2017 年開(kāi)始，GAI的主流技術(shù)生成對(duì)抗網(wǎng)絡(luò)的應(yīng)用陸續(xù)被人提出并不斷完善。

GAN網(wǎng)絡(luò)由生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)兩部分共同構(gòu)成。其核心思想是通過(guò)兩個(gè)子網(wǎng)各自的最優(yōu)變化，達(dá)到全局的最優(yōu)效果。生成器網(wǎng)絡(luò)的核心作用是通過(guò)一系列的網(wǎng)絡(luò)結(jié)構(gòu)生成可以騙過(guò)判別器網(wǎng)絡(luò)的數(shù)據(jù)，判別器網(wǎng)絡(luò)的核心作用是通過(guò)網(wǎng)絡(luò)設(shè)計(jì)可以不被生成器網(wǎng)絡(luò)生成的數(shù)據(jù)所騙過(guò)。生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)二者互相制約，共同成長(zhǎng)，形成表現(xiàn)良好的網(wǎng)絡(luò)結(jié)構(gòu)。有時(shí)，網(wǎng)絡(luò)內(nèi)部還借助空洞卷積、注意力機(jī)制、特征融合、編碼器等方法的一個(gè)或多個(gè)特性進(jìn)行優(yōu)化。生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)共同訓(xùn)練的過(guò)程如圖所示

圖中藍(lán)色虛線代表判別器分布，黑色虛線代表真實(shí)數(shù)據(jù)，綠線實(shí)線代表生成器生成的數(shù)據(jù)。從左往右依次展示了生成對(duì)抗網(wǎng)絡(luò)模型訓(xùn)練的過(guò)程中，生成器網(wǎng)絡(luò)與判別器網(wǎng)絡(luò)的變化過(guò)程?？梢?jiàn)隨著訓(xùn)練迭代次數(shù)的增加，生成器網(wǎng)絡(luò)生成的數(shù)據(jù)逐漸接近數(shù)據(jù)庫(kù)中原始的真實(shí)數(shù)據(jù)。直到判別器網(wǎng)絡(luò)已經(jīng)不能很好的判斷出，它接收到的兩種數(shù)據(jù)，哪個(gè)是生成器生成的數(shù)據(jù)，哪個(gè)是數(shù)據(jù)庫(kù)中真實(shí)的數(shù)據(jù)，此時(shí)，生成對(duì)抗網(wǎng)絡(luò)達(dá)到最佳效果，停止迭代。

生成式人工智能技術(shù)的出現(xiàn)，為我們創(chuàng)造更多樣、更富創(chuàng)意的內(nèi)容提供了新的可能性。舉例而言

• 圖像/視頻生成：生成對(duì)抗網(wǎng)絡(luò)（GAN）可以用于生成逼真的圖像，如 Deepfake 與 NVIDIA 的 StyleGAN就是一種應(yīng)用 GAN 的技術(shù)，可以生成高分辨率的逼真虛假視頻；
• 文本生成：自回歸模型可以用于生成連續(xù)文本，如 OpenAI 的 GPT 模型可以生成類(lèi)似于自然語(yǔ)言的文本，可以用于自動(dòng)生成文章、小說(shuō)等；
• 音頻生成：WaveNet 是一種基于神經(jīng)網(wǎng)絡(luò)的音頻合成模型，可以用于合成逼真的語(yǔ)音、音樂(lè)等；
• 藝術(shù)創(chuàng)作：GAN 可以被用于生成逼真的藝術(shù)作品，如 NVIDIA 的 GauGAN 可以將簡(jiǎn)單的手繪圖轉(zhuǎn)換為逼真的景觀照片；
• 游戲設(shè)計(jì)：生成式人工智能可以用于游戲設(shè)計(jì)，自動(dòng)生成游戲地圖、角色等元素，如《MineRL》等游戲就使用了生成式人工智能技術(shù)。

總而言之，生成式人工智能技術(shù)的出現(xiàn)，為電影、游戲、音樂(lè)、小說(shuō)等領(lǐng)域的創(chuàng)作提供了新的可能性。隨著技術(shù)的不斷發(fā)展，我們可以期待更多的應(yīng)用場(chǎng)景出現(xiàn)。

然而，生成式人工智能技術(shù)也存在著一些潛在的風(fēng)險(xiǎn)和挑戰(zhàn)：生成式模型可能會(huì)被用于制造虛假信息、混淆公眾視聽(tīng)，影響社會(huì)穩(wěn)定等。因此，我們需要在使用生成式人工智能技術(shù)時(shí)保持警惕，同時(shí)積極探索如何加強(qiáng)對(duì)這種技術(shù)的監(jiān)管和管理，確保其能夠?yàn)樯鐣?huì)帶來(lái)更多正面的價(jià)值。

圖源網(wǎng)絡(luò)，侵刪

楊小康教授正是著力于生成式人工智能技術(shù)，分享團(tuán)隊(duì)對(duì)元宇宙和生成式人工智能發(fā)展趨勢(shì)的思考，并對(duì)團(tuán)隊(duì)在流體現(xiàn)象模擬推理、物理環(huán)境持續(xù)預(yù)測(cè)學(xué)習(xí)、強(qiáng)化學(xué)習(xí)中世界模型表征解耦、虛擬數(shù)字人重建與驅(qū)動(dòng)等方面的生成式人工智能初步成果進(jìn)行介紹，歡迎大家進(jìn)一步了解。

3.2 對(duì)話式大型語(yǔ)言模型研究

• 嘉賓介紹：復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授，擔(dān)任中國(guó)中文信息學(xué)會(huì)理事、上海市計(jì)算機(jī)學(xué)會(huì)自然語(yǔ)言處理專(zhuān)委會(huì)主任等，主要研究方向?yàn)樽匀徽Z(yǔ)言處理基礎(chǔ)技術(shù)和基礎(chǔ)模型，發(fā)表CCF A/B類(lèi)論文80余篇，被引用1萬(wàn)余次，獲得ACL 2017杰出論文獎(jiǎng)（CCF A類(lèi)）、CCL 2019最佳論文獎(jiǎng)、《中國(guó)科學(xué)：技術(shù)科學(xué)》2021年度高影響力論文獎(jiǎng)，有5篇論文入選ACL/EMNLP等會(huì)議的最有影響力論文，主持開(kāi)發(fā)了開(kāi)源框架FudanNLP和FastNLP，已被國(guó)內(nèi)外數(shù)百家單位使用，發(fā)布了CPT、BART-Chinese、ElasticBERT等中文預(yù)訓(xùn)練模型，在中文模型中下載量排名前列。
• 報(bào)告題目：《對(duì)話式大型語(yǔ)言模型》

對(duì)話式大型語(yǔ)言模型是一種非常有用的技術(shù)，可以模擬人類(lèi)對(duì)話的能力。它們能夠理解自然語(yǔ)言，以及根據(jù)給定的上下文和語(yǔ)境生成自然的響應(yīng)。這些模型的一個(gè)很大的優(yōu)點(diǎn)是，它們可以大大減少人類(lèi)與機(jī)器之間的溝通障礙。這對(duì)于許多應(yīng)用程序都非常有用，例如：

• 智能助手：Apple Siri、Amazon Alexa、Google Assistant等，它們能夠與用戶進(jìn)行自然語(yǔ)言對(duì)話，回答問(wèn)題，執(zhí)行任務(wù)，提供信息等等。

圖源網(wǎng)絡(luò)，侵刪

• 在線客服：許多企業(yè)都使用聊天機(jī)器人來(lái)與客戶進(jìn)行對(duì)話，解答問(wèn)題，提供支持等等，從而提高客戶滿意度和效率；
• 聊天機(jī)器人：微軟的 XiaoIce、OpenAI的 GPT 等，它們可以與用戶進(jìn)行自然對(duì)話，提供有趣的聊天體驗(yàn)。

此外，對(duì)話式大型語(yǔ)言模型還在情感分析、文本摘要、自然語(yǔ)言理解等方面都具有非常廣泛的應(yīng)用。最近大家關(guān)注的ChatGPT，就是專(zhuān)門(mén)用于聊天和對(duì)話的語(yǔ)言模型。ChatGPT是基于GPT-3開(kāi)發(fā)的，具有強(qiáng)大的對(duì)話能力，能夠理解語(yǔ)言上下文，并能夠生成富有表現(xiàn)力和連貫的響應(yīng)。所謂GPT，全稱(chēng)是Generative Pre-trained Transformer，這是一種基于Transformer的語(yǔ)言模型。

Transformer又是什么呢？它是一種用于自然語(yǔ)言處理和其他序列到序列（sequence-to-sequence）任務(wù)的神經(jīng)網(wǎng)絡(luò)架構(gòu)。它于2017年由谷歌的研究人員提出，被認(rèn)為是自然語(yǔ)言處理領(lǐng)域的一項(xiàng)重大突破。

Transformer基于注意力機(jī)制（Attention Mechanism）構(gòu)建，其核心思想是在序列中進(jìn)行全局信息的交互和捕捉，而不是像以往的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）一樣在序列中逐個(gè)位置處理信息。Transformer通過(guò)多個(gè)自注意力層（Self-Attention Layer）進(jìn)行信息的交互和表示，而每個(gè)自注意力層包含了注意力機(jī)制的三個(gè)部分：查詢（query）、鍵（key）和值（value）。

圖源網(wǎng)絡(luò)，侵刪

具體來(lái)說(shuō)，對(duì)于一個(gè)輸入序列，Transformer將其轉(zhuǎn)換為多個(gè)詞向量（word embeddings），然后通過(guò)自注意力層進(jìn)行特征提取。在自注意力層中，查詢向量通過(guò)與所有鍵向量的相似度計(jì)算來(lái)計(jì)算注意力分?jǐn)?shù)，這些分?jǐn)?shù)用于加權(quán)求和值向量，最終得到每個(gè)位置的輸出向量。然后，這些輸出向量被饋送到下一個(gè)自注意力層或全連接層進(jìn)行后續(xù)處理。

相比于傳統(tǒng)的序列模型，Transformer的優(yōu)點(diǎn)在于可以并行處理輸入序列，從而加速模型的訓(xùn)練和推斷。此外，Transformer還能夠有效地處理長(zhǎng)序列，因?yàn)樗梢栽诓皇軙r(shí)間限制的情況下一次性處理整個(gè)序列，而不需要像RNN那樣進(jìn)行逐個(gè)位置的處理。

更多技術(shù)方面的內(nèi)容可以期待一下邱錫鵬教授的報(bào)告，報(bào)告里，邱教授將以ChatGPT為例介紹其強(qiáng)大的意圖理解能力、流暢的對(duì)話能力和豐富的世界知識(shí)，并講解通用人工智能助手廣闊的研究和應(yīng)用前景。同時(shí)，闡述對(duì)話式大型語(yǔ)言模型的能力評(píng)測(cè)、能力演化路線分析以及如何在下游任務(wù)中更高效利用大模型的能力。歡迎感興趣的同學(xué)參加！

3.3 文檔圖像處理中的底層視覺(jué)技術(shù)

• 嘉賓介紹：上海交通大學(xué)模式識(shí)別與智能系統(tǒng)博士。長(zhǎng)期從事文字識(shí)別（包括手寫(xiě)/OCR），圖像處理研究，CSIG文檔圖像分析與識(shí)別專(zhuān)委會(huì)常務(wù)委員。近年來(lái)，帶領(lǐng)團(tuán)隊(duì)獲得過(guò)ICDAR19大會(huì)表格檢測(cè)競(jìng)賽冠軍，中國(guó)圖象圖形學(xué)會(huì)2021年度科技進(jìn)步二等獎(jiǎng)等獎(jiǎng)項(xiàng)，現(xiàn)任合合信息圖像算法研發(fā)總監(jiān)。
• 報(bào)告題目：《文檔圖像處理中的底層視覺(jué)技術(shù)》

底層視覺(jué)（Low-level vision）主要研究如何提高或恢復(fù)各類(lèi)場(chǎng)景下的圖像/視頻內(nèi)容，如

• 圖像去噪：主要解決圖像中存在的噪聲問(wèn)題，使圖像更加清晰和易于處理，廣泛應(yīng)用于圖像處理、計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)成像、遙感圖像處理等領(lǐng)域。
• 圖像超分辨率：指通過(guò)一系列的算法和技術(shù)將低分辨率圖像轉(zhuǎn)換為高分辨率圖像的過(guò)程。超分辨率技術(shù)的原理可以簡(jiǎn)單地概括為利用算法將低分辨率圖像轉(zhuǎn)換為高分辨率圖像。這個(gè)過(guò)程中，需要根據(jù)一些規(guī)則和約束條件來(lái)進(jìn)行圖像重建，以盡可能地提高重建后圖像的質(zhì)量。如下圖所示

圖源網(wǎng)絡(luò)，侵刪

超分辨率也是近年來(lái)視覺(jué)方向非常熱門(mén)的話題。在實(shí)際應(yīng)用中，超分辨率技術(shù)的實(shí)現(xiàn)通常分為兩個(gè)步驟：訓(xùn)練階段——利用大量的低分辨率和高分辨率圖像對(duì)來(lái)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)模型，以學(xué)習(xí)圖像間的映射關(guān)系；測(cè)試階段——輸入低分辨率圖像后，通過(guò)訓(xùn)練好的模型進(jìn)行重建，輸出高分辨率圖像。

超分辨率技術(shù)還包含大量的圖像處理方法，例如

• 圖像插值

  圖像插值是超分辨率技術(shù)中最基本的方法，它通過(guò)在像素之間插值來(lái)增加圖像的分辨率。常見(jiàn)的插值算法包括雙線性插值、雙三次插值等，它們可以通過(guò)計(jì)算周?chē)袼氐募訖?quán)平均值來(lái)填充新的像素值。雖然圖像插值可以增加圖像的分辨率，但是它并不能提高圖像的質(zhì)量，只是增加了圖像的大小。

• 圖像重建

  圖像重建是超分辨率技術(shù)中更高級(jí)的方法，它利用多張低分辨率圖像來(lái)重建出一張高分辨率圖像。常見(jiàn)的圖像重建算法包括基于插值的重建、基于統(tǒng)計(jì)的重建、基于邊緣的重建等。這些算法利用低分辨率圖像中的一些特征來(lái)推斷高分辨率圖像中的信息，從而實(shí)現(xiàn)圖像的重建。

• 神經(jīng)網(wǎng)絡(luò)

  近年來(lái)，神經(jīng)網(wǎng)絡(luò)模型成為超分辨率技術(shù)中最常用的方法。通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，可以學(xué)習(xí)到圖像之間的映射關(guān)系，從而實(shí)現(xiàn)低分辨率圖像到高分辨率圖像的轉(zhuǎn)換。常見(jiàn)的神經(jīng)網(wǎng)絡(luò)模型包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等。這些模型可以通過(guò)反向傳播算法進(jìn)行訓(xùn)練，并在測(cè)試階段進(jìn)行圖像重建。

更多相關(guān)的技術(shù)理論將在郭豐俊博士的報(bào)告中展開(kāi)，同時(shí)，郭豐俊博士將分享合合信息在文檔圖像處理系統(tǒng)中所做的底層視覺(jué)技術(shù)研發(fā)工作，從技術(shù)本身的應(yīng)用和對(duì)下游任務(wù)的影響的角度，闡述底層視覺(jué)技術(shù)的價(jià)值與思考。

4 觀看入口

合合信息視頻號(hào)18號(hào)下午14：00直播，歡迎感興趣的同學(xué)來(lái)交流

議程

時(shí)間	議題	發(fā)言人
14:00-14:05	《合合信息 歡迎致詞》	合合信息 領(lǐng)導(dǎo) Micheal
14:05-14:10	《CSIG文檔圖像分析與識(shí)別專(zhuān)委會(huì)主任 致詞》	華南理工大學(xué) 金連文教授
14:10-14:40	《生成式人工智能》	上海交通大學(xué) 楊小康教授
14:40-15:10	《對(duì)話式大型語(yǔ)言模型》	復(fù)旦大學(xué) 邱錫鵬教授
15:10-15:40	《復(fù)雜跨媒體數(shù)據(jù)協(xié)同分析與應(yīng)用》	廈門(mén)大學(xué) 紀(jì)榮嶸教授
15:40-16:10	《面向圖像文檔的復(fù)雜結(jié)構(gòu)建模研究》	中國(guó)科學(xué)技術(shù)大學(xué) 杜俊
16:10-16:40	《文檔圖像處理中的底層視覺(jué)技術(shù)》	合合信息 郭豐俊
16:40-17:15	15分鐘答疑