目錄

一、前言

二、ChatGPT 4 圖片處理介紹

2.1 ChatGPT 4 圖片處理概述

2.1.1 圖像識別與分類

2.1.2 圖像搜索

2.1.3 圖像生成

2.1.4 多模態(tài)理解

2.1.5 細粒度圖像識別

2.1.6 生成式圖像任務處理

2.1.7 圖像與文本互動

2.2 ChatGPT 4 圖片處理應用場景

三、文生圖操作實踐

3.1 前置準備

3.1.1 文生圖操作入口

3.1.2 DALL.E 簡單簡介

DALL.E 主要特點

3.2 文生圖提示詞使用技巧

3.3 文圖案例演示一

3.3.1 生成營銷海報

3.3.2 多輪對話對圖片精修

3.3.3 在線精修圖片

3.4?文圖案例演示二

四、圖生圖

4.1 圖生圖

4.1.1 使用GPT圖生圖功能

4.1.2 使用DALL.E 圖生圖功能

4.2 圖片解析

4.2.1 DALL.E 解析圖片內(nèi)容并總結(jié)

4.2.2 GPT 解析圖片內(nèi)容并總結(jié)

4.2.3 圖片數(shù)據(jù)提取與分析

4.3 圖生文

4.3.1 DALL.E生成直播文案

4.3.2 GPT生成直播文案

五、寫在文末

---

一、前言

ChatGPT 4推出之后，一大波強大而且實用的功能也出現(xiàn)在大家的視野中，比如可以實現(xiàn)定制化AI助手的GPTs，文本、數(shù)據(jù)分析，視覺輸入輸出等功能，尤其對于圖像的處理上，不僅自身的大模型有了不錯的支持，而且集成了不少第三方圖像處理工具，比如 DALL·E ，midjourney等，利用GPT4，可以快速幫我們初步完成各類圖像從生成到處理的事項，接下來進行詳細的介紹。

二、ChatGPT 4 圖片處理介紹

GPT4首次引入了圖像輸入功能，用戶可以通過上傳圖片或直接在聊天窗口中粘貼圖片來與機器進行交互。這一功能可以更好地滿足用戶的多樣化需求，比如在描述復雜操作步驟或物品時，通過圖像的直觀展示可以大大提高溝通效率。

2.1 ChatGPT 4 圖片處理概述

ChatGPT 4在圖片處理方面具有多種功能，包括圖像識別、圖像搜索、圖像生成、多模態(tài)理解、細粒度圖像識別、生成式圖像任務處理以及圖像與文本互動等。

2.1.1 圖像識別與分類

GPT 4可以通過深度學習算法對輸入的圖像進行識別和分類，識別出圖像中物體的種類、數(shù)量、顏色等信息，并在對話中進行回復

2.1.2 圖像搜索

GPT 4可以根據(jù)用戶提供的關鍵詞或描述，搜索到相關的圖像，并在對話中展示給用戶

2.1.3 圖像生成

GPT 4可以通過生成模型，根據(jù)用戶提供的關鍵詞或場景描述，生成相關的圖像，并在對話中展示給用戶

2.1.4 多模態(tài)理解

GPT 4引入了多模態(tài)理解功能，意味著它能夠同時處理和理解文本和圖像信息。該模型使用深度學習算法對圖像和文本輸入進行聯(lián)合分析，提升了理解復雜內(nèi)容的能力

2.1.5 細粒度圖像識別

GPT 4具備細粒度圖像識別能力，能夠更準確地識別圖片中的復雜細節(jié)與對象，提供更加精確的圖像內(nèi)容解釋

2.1.6 生成式圖像任務處理

GPT 4能夠在處理生成式圖像任務時展示其創(chuàng)造性和靈活性，不僅能根據(jù)文本描述創(chuàng)建和編輯圖像內(nèi)容，還能對現(xiàn)有圖像進行編輯和改進

2.1.7 圖像與文本互動

GPT 4通過圖像與文本的深度互動，能夠更好地處理圖像相關的問答和搜索任務，根據(jù)圖像內(nèi)容回答問題或生成相關描述

2.2 ChatGPT 4 圖片處理應用場景

GPT 4 圖片處理應用場景如下：

• 內(nèi)容創(chuàng)作

  • ChatGPT 4可以根據(jù)用戶提供的文本描述，生成與之匹配的圖像內(nèi)容，這在廣告設計、產(chǎn)品展示等領域有廣泛應用

• 教育領域

  • 在教育領域，ChatGPT 4可以幫助教師和學生進行圖像識別和解釋，提升教學互動效果

• 問答系統(tǒng)

  • 在問答系統(tǒng)中，ChatGPT 4可以分析圖像內(nèi)容，結(jié)合上下文生成準確的描述或答案，提升問答系統(tǒng)的準確性和用戶體驗

• 數(shù)據(jù)分析

  • 在數(shù)據(jù)分析中，ChatGPT 4可以通過圖像識別技術提取數(shù)據(jù)圖表中的關鍵信息，輔助數(shù)據(jù)分析工作

三、文生圖操作實踐

接下來演示如何基于GPT4完成常用的文生圖操作。

3.1 前置準備

3.1.1 文生圖操作入口

GPT在今年的某個時間段之后直接在對話框中輸入指令進行文生圖，會出現(xiàn)錯誤，也叫”降智“，官方對外宣稱是算力問題，后續(xù)會重新開放，不過基于這個情況也有解決辦法，第一個是首先上傳一張圖片，然后繼續(xù)輸入指令，以對話的方式進行文生圖操作，或者采用GPTs中內(nèi)置的DALL-E進行使用，效果是一模一樣的。GPTs的操作入口如下：

點擊DALL-E圖標，看到下面的對話窗口即可開始使用

3.1.2 DALL.E 簡單簡介

DALL·E 是由人工智能研究實驗室 OpenAI 開發(fā)的一個生成模型，它能夠根據(jù)文本描述創(chuàng)建圖像。該模型的名字來源于將 WALL·E（皮克斯動畫電影中的機器人角色）與 Salvador Dalí（著名的超現(xiàn)實主義藝術家）結(jié)合在一起。DALL·E 的獨特之處在于它能夠理解自然語言的復雜性，并以此為基礎生成從簡單對象到復雜場景的各種圖像。

DALL.E 主要特點

1. 文本到圖像生成：用戶可以輸入一段描述性的文本，DALL·E 將嘗試生成一個或多個符合該描述的圖像。

2. 多樣化輸出：DALL·E 可以生成不同風格、視角和構(gòu)圖的圖像，包括但不限于寫實、卡通、抽象等風格。

3. 高分辨率圖像：雖然早期版本生成的圖像是低分辨率的，但更新后的版本如 DALL·E 2 能夠生成更高質(zhì)量、更高分辨率的圖像。

4. 編輯能力：除了創(chuàng)造新圖像外，DALL·E 還支持對現(xiàn)有圖像進行修改，例如添加或刪除特定元素。

5. 跨領域知識：它可以理解并反映廣泛的知識領域，比如藝術、科學和技術，以及它們之間的交叉點。

3.2 文生圖提示詞使用技巧

對大模型來說，優(yōu)秀的提示詞（Prompt）是基礎，不管是使用AI大模型生成各類文案、對話、作品還是你需要得到的答案，文生圖也是同樣的道理，優(yōu)秀的提示詞可以提升最終生成出來的圖片的質(zhì)量，從而縮短創(chuàng)作時間提升效率。下面是一些常用的有關文生圖提示詞編寫技巧。

• 明確描述

  • 具體化：盡可能詳細地描述你想要的圖像內(nèi)容。包括對象、顏色、風格、背景等細節(jié)。

  • 結(jié)構(gòu)清晰：用簡單明了的語言表達你的需求，避免過于復雜的句子結(jié)構(gòu)。

  • 示例

    • 不好的描述：“畫一個房子”

    • 好的描述：“畫一座位于海邊的白色兩層小樓，周圍有椰樹和沙灘，天空中有夕陽。”

• 使用限定詞

  • 添加形容詞：利用形容詞來增強圖像的具體性和獨特性，比如“古老的”、“現(xiàn)代的”、“卡通風格的”等。

  • 指定風格：可以提及某種藝術風格或藝術家的名字，如“梵高風格”、“賽博朋克風格”。

  • 示例：“一幅賽博朋克風格的城市夜景圖，高樓林立，霓虹燈閃爍?！?/p>

• 分步驟引導

  • 如果你有一個復雜的想法，可以嘗試分多次輸入逐步細化。第一次給出大體框架，之后再補充更多細節(jié)。

  • 示例

    • 第一步：“一個充滿未來感的室內(nèi)設計場景?！?/p>

    • 第二步：“在剛才的基礎上加入透明材質(zhì)的家具和浮動屏幕?！?/p>

• 嘗試不同的表達方式

  • 如果初次生成的結(jié)果不理想，試著改變描述的方式或者用詞，可能會得到意想不到的好結(jié)果。

• 利用對比度

  • 描述中加入對比元素可以使圖像更加生動有趣，例如“明亮的燈光照亮黑暗的街道”。

• 控制圖像的比例和尺寸

  • 某些情況下，你可以通過特別說明希望得到的圖片比例（如正方形、寬屏）或尺寸來影響輸出格式。

  • 示例

    • “請生成一張適合手機壁紙的縱向圖片，內(nèi)容是…” 或者 “生成一張適合桌面背景的寬屏圖片…”

3.3 文圖案例演示一

3.3.1 生成營銷海報

盡可能清楚的描述你的需求，在剛剛接觸AI大模型的時候，首先要學習的就是提示詞，而首先要注意的就是提示詞盡可能清楚表達你的意圖。提示詞如下：

生成一張藍牙耳機的推廣海報，圖片內(nèi)容簡約大氣，富有科技感和立體感，背景元素不要太復雜，面向的用戶群體主要是18~30之間的年輕人，并給出圖片的介紹

將提示詞輸入文本框，默認生成了2張效果還不錯富有科技感的圖片，同時附上了產(chǎn)品的簡單介紹

3.3.2 多輪對話對圖片精修

如果對于生成出來的圖片效果不是很滿意怎么辦，就像之前學習Prompt技巧時那樣，第一種方式可以通過多輪對話不斷逼近，另一種方式就是優(yōu)化和完善自己的提示詞，但是在GPT的文生圖中，還提供了另一種方式，即在線對圖片進行精修，然后實時生成新的圖片，下面通過操作分別演示說明。

1）多輪對話

重新調(diào)整色調(diào)

2）重新調(diào)整背景

3）重去掉不需要的元素

3.3.3 在線精修圖片

除了上述多輪對話的方式，DALL.E也提供了在線編輯圖片和精修的功能，有點類似于PS的功能，如下，我們首先生成一張”貓編程“的圖片

如果對第一次生成的圖片不滿意，直接點擊其中一張圖片，點擊進去之后就到了下面的工作區(qū)，左側(cè)是選中的圖片，右側(cè)是一個小的對話框，左側(cè)可以理解是圖片編輯的工作區(qū)，右側(cè)是根據(jù)工作區(qū)筆刷選中待調(diào)整的內(nèi)容進行指令重新輸入的地方

點擊選擇按鈕，可以用筆刷對圖片局部不滿意的或者需要調(diào)整的位置勾選，比如下面這里，我們希望圖片中的鍵盤更換為機械鍵盤

再比如我希望調(diào)整一下貓的側(cè)身方向

總的來說，在線對圖片精修只需要兩個操作，第一使用選擇的筆刷勾選你要調(diào)整的區(qū)域，勾選完成，再在對話框里面輸入你的需求描述，最后等待圖片的重新生成即可

3.4?文圖案例演示二

有時候一開始你只是有一個簡單的創(chuàng)意，或者是一個輪廓，并沒有對最后要生成的圖片長什么樣有很明確的描述，此時就可以采用”分步引導“的方式來完成。這種方式其實也是很多領域的創(chuàng)作者在真實的創(chuàng)作場景中的一種使用模式。一開始只是一個靈感的閃現(xiàn)，然后通過工具先繪制出一個輪廓，而后不斷調(diào)整，調(diào)整的過程中才能對作品進行豐富和完善，最后形成一個比較完美的作品呈現(xiàn)。

比如，我們的需求是生成一張兒童插畫。首先輸入下面的提示詞。

第一次隨機生成的圖片我們覺得背景不太符合要求，于是補充自己想要添加的元素

接下來，還希望圖片中局部的元素或動作按照自己的預期再調(diào)整一下從而更完美

最后再調(diào)整一下背景的色調(diào)，這樣一幅相對符合自己期望的兒童插畫就完成了

總結(jié)：

• 從上面這個生成插畫的過程不難看出，整個流程中，我們就像是面對面一個畫家，以聊天對話的方式對每一次生成的圖片進行微調(diào)和細調(diào)，直至生成效果滿意的圖片為止。

四、圖生圖

利用GPT等AI大模型工具強大的圖片處理能力，我們還可以利用GPT解析圖片內(nèi)容，從而分析圖片內(nèi)容并生成我們需要的文案，或者生成新的圖片，從而達到圖片處理的效果，下面看具體的操作案例。

4.1 圖生圖

顧名思義，即GPT根據(jù)你上傳的圖片進行推理解析，然后按照你的要求生成一張新的圖片

4.1.1 使用GPT圖生圖功能

首先上傳一張圖片

看看GPT生成的新圖片效果，當然，如果你覺得生成的圖片效果不夠理想，還可以像上面那樣通過對話的方式進行修正微調(diào)，直至滿意為止

4.1.2 使用DALL.E 圖生圖功能

下面再來看看DALL.E的生成效果

總結(jié)與對比：

• 相對來說，DALL.E比起GPT似乎更勝一籌，畢竟是專業(yè)做這個的。

4.2 圖片解析

圖片解析是指使用GPT或其他大模型工具對上傳的圖片內(nèi)容進行推理或分析，按照用戶的要求提取、分析圖片內(nèi)容，或者進行其他的動作，接下來看看兩個簡單的操作示例。

4.2.1 DALL.E 解析圖片內(nèi)容并總結(jié)

仍然以上面這張圖片為例，讓大模型解析和總結(jié)圖片內(nèi)容

• 不難看出，DALL.E對于圖片的理解、推理分析以及最后的總結(jié)還是很全面的。

4.2.2 GPT 解析圖片內(nèi)容并總結(jié)

接下來再使用GPT看看處理的效果如何

• 對比來說，GPT給出的結(jié)論更加簡潔一點，DALL.E似乎更全面一些

4.2.3 圖片數(shù)據(jù)提取與分析

還記得GPT問世之前，如果需要識別一張圖片中的關鍵內(nèi)容，比如識別圖片中的人物、或提取圖片中的數(shù)據(jù)時，還需要借助第三方付費平臺提供的API能力去完成，現(xiàn)在有了GPT等AI工具之后，就可以直接在對話中完成對圖片中的關鍵信息進行提取+分析的過程，比如在下面我們上傳一張圖片，讓GPT提取圖片中的excel數(shù)據(jù)

4.3 圖生文

圖生文主要是大模型根據(jù)上傳的圖片進行內(nèi)容的分析推理，然后根據(jù)用戶的需求描述，生成文案，用戶可以根據(jù)拿到的文案，輔助進行二次或后續(xù)的多次創(chuàng)作，典型的場景就是解析產(chǎn)品海報，然后生成新的產(chǎn)品文案，或宣傳文案，或直播文案，或視頻腳本等等。參考下面的案例。

4.3.1 DALL.E生成直播文案

上傳一張帶有帶貨產(chǎn)品的圖片，然后生成帶貨的文案

4.3.2 GPT生成直播文案

再看看GPT的生成效果

五、寫在文末

本文通過案例與操作演示詳細介紹了使用ChatGPT等AI大模型工具處理圖片的各類使用場景，圖片可以說在當下的各類互聯(lián)網(wǎng)應用場景下成為不可或缺的元素，有了AI大模型等工具的加持，可以讓更不懂設計的普通人都能參與到圖片的設計中來，可以說應用前景是非常光明的，希望對看到的同學有用，本篇到此結(jié)束，感謝觀看。