你有沒(méi)有嘗試過(guò)使用人工智能生成圖像？

如果你嘗試過(guò)，你就會(huì)知道，一張好的圖像的關(guān)鍵在于一個(gè)詳細(xì)具體的提示。

我不擅長(zhǎng)這種詳細(xì)的視覺提示，所以我依賴大型語(yǔ)言模型來(lái)生成詳細(xì)的提示，然后使用這些提示來(lái)生成出色的圖像。以下是我能夠生成的一些提示和圖像的例子：

Prompt: Create a stunning aerial view of Bengaluru, India with the city name written in bold, golden font across the top of the image, with the city skyline and Nandi Hills visible in the background.

Prompt: Design an image of the iconic Vidhana Soudha building in Bengaluru, India, with the city name written in a modern, sans-serif font at the bottom of the image, in a sleek and minimalist style.

為了實(shí)現(xiàn)這些結(jié)果，我們使用了Flux.1-schnell模型進(jìn)行圖像生成，以及Llamma 3.1 - 8B - Instruct模型來(lái)生成提示。這兩個(gè)模型都托管在一臺(tái)配備了MIG（多實(shí)例 GPU）的單卡 H100 機(jī)器上。

這篇博客不是圖像生成教程，我們以前已經(jīng)分享過(guò) Flux 的教程了。這次，我們的目標(biāo)是創(chuàng)建一個(gè)可擴(kuò)展、安全、全球可訪問(wèn)（且價(jià)格合理）的 GenAI 架構(gòu)。同時(shí)，你還將在本文中了解，如何在同一塊 H100 GPU 上同時(shí)運(yùn)行 Flux 和 Llamma3 兩個(gè)模型。

現(xiàn)在中國(guó)很多企業(yè)都在做大語(yǔ)言模型，就我們接觸過(guò)的一些公司來(lái)講，哪怕是一些小公司都在利用開源的模型定制自己內(nèi)部使用的文生圖和視頻 AI 工具。

想象一下，一個(gè)全球化的平臺(tái)需要為用戶快速定制生成圖像，或者一個(gè)內(nèi)容平臺(tái)需要跨地區(qū)提供用 AI 生成的文本。

對(duì)于開發(fā)者來(lái)說(shuō)，想實(shí)現(xiàn)這樣的架構(gòu)存在許多挑戰(zhàn)。例如：

• GPU 昂貴的價(jià)格
• GenAI 工具是尖端技術(shù)，每個(gè)工具都有特定的配置要求
• 安全地將后端服務(wù)器與GenAI服務(wù)器連接
• 將全球分布的用戶路由到最近的服務(wù)器等

這次分享應(yīng)該能給你提供一個(gè)參考和啟發(fā)，逐一解決這些問(wèn)題。

架構(gòu)設(shè)計(jì)

實(shí)現(xiàn)方案

為了實(shí)現(xiàn)這一目標(biāo)，我們?cè)O(shè)計(jì)了一個(gè)基于 DigitalOcean 云基礎(chǔ)設(shè)施的分布式架構(gòu)。后面我們會(huì)解釋為什么會(huì)選擇 DigitalOcean 服務(wù)器。以下是這個(gè)架構(gòu)的具體工作原理：

• 我們首先使用全球負(fù)載均衡器（GLB）來(lái)管理來(lái)自不同地區(qū)的請(qǐng)求，確保所有用戶都能體驗(yàn)到最小的延遲。
• 我們?cè)陉P(guān)鍵地區(qū)（倫敦、紐約和悉尼）部署了輕量級(jí)的圖像生成應(yīng)用，每個(gè)應(yīng)用都有自己的緩存，并且可以根據(jù)需要連接到 GPU 資源。這些應(yīng)用通過(guò)?VPC 對(duì)等連接（有免費(fèi)的1200 GiB的數(shù)據(jù)傳輸流量）安全地通信，將復(fù)雜的任務(wù)回傳到多倫多的?H100 GPU Droplet 服務(wù)器上，這些服務(wù)器負(fù)責(zé)處理提Prompt和圖像生成的核心任務(wù)。

組件詳解

在這個(gè)架構(gòu)中，有兩個(gè)重要的組件 ，一個(gè)是輕量級(jí)圖像生成應(yīng)用，另一個(gè)是 MIG GPU 組件，我們需要解釋一下這兩個(gè)組件。

輕量級(jí)圖像生成應(yīng)用

圖像生成應(yīng)用是一個(gè)簡(jiǎn)單的 Python Flask 應(yīng)用，主要包含三個(gè)部分：

1、位置檢測(cè)模塊：這個(gè)模塊通過(guò)瀏覽器向服務(wù)器發(fā)送一個(gè)虛擬請(qǐng)求，以確定用戶的地理位置（城市和國(guó)家），并識(shí)別哪個(gè)服務(wù)器區(qū)域正在處理該請(qǐng)求。這些信息會(huì)顯示給用戶，并幫助優(yōu)化提示和圖像生成的過(guò)程。

2、提示下拉模塊：確定用戶位置后，應(yīng)用首先檢查緩存中是否有與該位置相關(guān)的預(yù)存提示。如果找到合適的提示，它們會(huì)立即顯示在下拉菜單中，供用戶選擇用于圖像生成。如果沒(méi)有緩存的提示，應(yīng)用會(huì)向大型語(yǔ)言模型（LLM）發(fā)送請(qǐng)求生成新的提示，這些提示會(huì)被緩存起來(lái)以供將來(lái)使用，并填充到下拉菜單中供用戶選擇。

3、生成圖像模塊：當(dāng)用戶選擇一個(gè)提示后，應(yīng)用首先檢查是否有從該特定提示生成的圖像已緩存。如果有緩存的圖像，會(huì)直接從磁盤加載，確保更快的響應(yīng)時(shí)間。如果沒(méi)有緩存的圖像，應(yīng)用會(huì)調(diào)用 API 生成新的圖像，并將其緩存以供未來(lái)的請(qǐng)求使用，最后展示給用戶。

MIG GPU 組件

MIG（多實(shí)例 GPU）是 NVIDIA GPU（如 H100）官方提供的一項(xiàng)功能，它允許將單個(gè)物理 GPU 劃分為多個(gè)獨(dú)立的實(shí)例。每個(gè)實(shí)例稱為一個(gè) MIG 片段，具有獨(dú)立的計(jì)算、內(nèi)存和帶寬資源。

例如，我們可以為每個(gè) H100 GPU 獲得兩個(gè) H100 MIG 模型，每個(gè)模型的計(jì)算能力約為完整 GPU 的一半。在一項(xiàng)基準(zhǔn)測(cè)試中，每個(gè)實(shí)例通常能在僅需 A100 GPU 80%成本的情況下提供相同甚至超過(guò) A100 GPU 的性能。

這種設(shè)計(jì)不僅優(yōu)化了 GPU 的利用率，還使我們能夠在同一個(gè) GPU 上并行部署圖像生成和提示生成模型。

多實(shí)例 GPU (MIG) 如何工作

MIG 是 NVIDIA 在 Ampere 架構(gòu)中引入的一項(xiàng)技術(shù)，同時(shí)也支持 Hopper 和 Blackwell 架構(gòu)。MIG 可以將單個(gè) GPU 劃分為多個(gè)小的 GPU 實(shí)例，每個(gè)實(shí)例都可以獨(dú)立運(yùn)行一個(gè)模型服務(wù)器。

MIG 的組成

MIG 實(shí)例是由 GPU 的物理計(jì)算和內(nèi)存切片組裝而成的：

• 7 個(gè)計(jì)算切片：這些切片均勻劃分了芯片上的流式多處理器（SMs）。H100 GPU 擁有 140 個(gè) SMs，這些 SMs 被均勻分配到 7 個(gè)切片中，每個(gè)切片包含 20 個(gè) SMs。此外，H100 GPU 還有 7 個(gè) NVDEC 和 JPEG 圖像解碼器，每個(gè)切片分配一個(gè)。
• 8 個(gè)內(nèi)存切片：這些切片均勻劃分了芯片上的顯存（VRAM）。每個(gè)內(nèi)存切片有 10 GB 的 VRAM 和 GPU 總內(nèi)存帶寬的八分之一。

7 個(gè)計(jì)算切片看起來(lái)可能有些奇怪，但這并不是因?yàn)轭A(yù)留了一部分計(jì)算資源用于開銷，而是因?yàn)?H100 GPU 恰好有 140 個(gè) SMs，這些 SMs 被均勻分成 7 個(gè)切片，每個(gè)切片包含 20 個(gè) SMs。

實(shí)現(xiàn)該架構(gòu)

在這里我們要開始做一個(gè)演示，基于 DigitalOcean 的 GPU Droplet 服務(wù)器。DigitalOcean的 H100 GPU 在2024 年底之前僅需 2.5 美元/月/GPU，從成本上來(lái)講非常合算。而且 DigitalOcean 也已經(jīng)推出了裸金屬 GPU 服務(wù)器，以供對(duì)性能要求更苛刻的 AI 工作任務(wù)，比如大型模型的訓(xùn)練和 GenAI 應(yīng)用。

在進(jìn)行 Demo 之前，你需要做以下準(zhǔn)備：

• DigitalOcean 賬戶：你需要有一個(gè)DigitalOcean 賬戶，新用戶可以獲得 200 美元的免費(fèi)額度，如果你正在做服務(wù)器選型，可以用這些額度來(lái)做充分的測(cè)試。（具體服務(wù)器價(jià)格可參考官方文檔）
• 基本知識(shí)：你需要了解 GPU、云網(wǎng)絡(luò)、VPC（虛擬私有云）和負(fù)載均衡的基本概念。
• 基本技能：熟悉 Bash、Docker 和 Python。
• HuggingFace 訪問(wèn)權(quán)限：
  • 已獲得對(duì) Image Generation with Flux.1 模型的訪問(wèn)權(quán)限。
  • 已獲得對(duì) Llama 3.1-8b-Instruct 模型的訪問(wèn)權(quán)限。
• vLLM 庫(kù)：vLLM 是一個(gè)快速且易于使用的大型語(yǔ)言模型（LLM）推理和服務(wù)庫(kù)。

Step-by-Step Setup

1. 創(chuàng)建 GPU Droplet

首先，在 DigitalOcean 上創(chuàng)建一個(gè)帶有單個(gè) H100 GPU 的 GPU Droplet，并選擇預(yù)裝了機(jī)器學(xué)習(xí)開發(fā)所需的操作系統(tǒng)鏡像。

2. 啟用 MIG 模式

GPU Droplet 啟動(dòng)并運(yùn)行后，啟用 MIG（多實(shí)例 GPU）模式。MIG 可以將 GPU 劃分為多個(gè)獨(dú)立的 GPU 實(shí)例，每個(gè)實(shí)例都是相互隔離的，這對(duì)于并行運(yùn)行不同模型非常重要。

sudo nvidia-smi -i 0 -mig 1

3. 選擇 MIG 配置文件并創(chuàng)建實(shí)例

啟用 MIG 后，選擇一個(gè)符合你模型需求的配置文件。

nvidia-smi mig -lgip # 列出所有配置文件

例如，創(chuàng)建兩個(gè) MIG 實(shí)例，每個(gè)實(shí)例提供 40GB 內(nèi)存，這應(yīng)該足夠運(yùn)行兩個(gè)模型。

sudo nvidia-smi mig -cgi 9,9 -C

查看所有 MIG 實(shí)例 ID：

nvidia-smi -L

4. 在每個(gè) MIG 實(shí)例上設(shè)置 Docker 容器

對(duì)于每個(gè) MIG 實(shí)例，運(yùn)行一個(gè)單獨(dú)的 Docker 容器，分別用于圖像生成和提示生成模型。

部署 Flux.1-schnell 用于圖像生成

我們使用 metatonic 的圖像和代碼來(lái)部署 Flux.1 的 Docker 鏡像。

# 克隆倉(cāng)庫(kù)
git clone https://github.com/matatonic/openedai-images-flux
cd openedai-images-flux# 復(fù)制配置文件
cp config.default.json config/config.json# 運(yùn)行 Docker 鏡像
sudo docker run -d \-e HUGGING_FACE_HUB_TOKEN="<HF_READ_TOKEN>" \--runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=<MIG_INSTANCE_ID> \-v ./config:/app/config \-v ./models:/app/models \-v ./lora:/app/lora \-v ./models/hf_home:/root/.cache/huggingface \-p 5005:5005 \
ghcr.io/matatonic/openedai-images-flux

使用 vLLM 部署 Llama 3.1 用于提示生成

下載并運(yùn)行用于提示生成模型的 Docker 容器。

sudo docker run -d --runtime=nvidia \
-e NVIDIA_VISIBLE_DEVICES=<MIG_INSTANCE_ID> \
-v ~/.cache/huggingface:/root/.cache/huggingface \
-e HUGGING_FACE_HUB_TOKEN="<HF_READ_TOKEN>" \
-p 8000:8000 \
--ipc=host \
vllm/vllm-openai:latest \
--model meta-llama/Meta-Llama-3.1-8B-Instruct

5. 模型訪問(wèn)和通信

每個(gè)容器通過(guò)指定的端口訪問(wèn)，允許圖像生成應(yīng)用實(shí)例連接并發(fā)送請(qǐng)求到圖像生成模型（Flux.1-schnell）或提示生成模型（Llama 3.1）。MIG 分區(qū)確保兩個(gè)模型高效并發(fā)運(yùn)行，互不干擾。

6. 設(shè)置區(qū)域應(yīng)用實(shí)例

在倫敦、紐約和悉尼等區(qū)域位置設(shè)置輕量級(jí)應(yīng)用實(shí)例，以本地處理用戶請(qǐng)求，緩存頻繁訪問(wèn)的提示和圖像，加快響應(yīng)速度。

1. 通過(guò) DigitalOcean 控制臺(tái)的 Droplets 部分在某個(gè)區(qū)域創(chuàng)建 Droplet。
2. SSH 登錄并設(shè)置代碼。為了加快速度，我已經(jīng)創(chuàng)建了一個(gè)容器，只需要確保有 DigitalOcean 容器注冊(cè)表的訪問(wèn)權(quán)限并拉取鏡像。

# 登錄到 Docker 注冊(cè)表
sudo docker login registry.digitalocean.com# 拉取容器
sudo docker pull registry.digitalocean.com/<cr_name>/city-image-generator:v2

1. 創(chuàng)建快照并將 Droplet 部署到其他區(qū)域。

# 運(yùn)行容器
sudo docker run -d -p 80:80 registry.digitalocean.com/<cr_name>/city-image-generator:v2

1. 在其他區(qū)域創(chuàng)建其他 Droplet 并運(yùn)行容器。

7. 設(shè)置 VPC Peering

VPC Peering 確保區(qū)域應(yīng)用實(shí)例與多倫多的 GPU 服務(wù)器之間通過(guò)私有網(wǎng)絡(luò)進(jìn)行安全、低延遲的通信。

1. 進(jìn)入 DigitalOcean 控制臺(tái)的 Networking 部分。
2. 查看每個(gè)區(qū)域的默認(rèn) VPC（例如倫敦、紐約、悉尼和多倫多）。
3. 使用 VPC Peering 功能建立多倫多 VPC 與其他區(qū)域 VPC 的連接。
4. 使用簡(jiǎn)單的網(wǎng)絡(luò)工具（如 ping 或 curl）驗(yàn)證連接。

8. 設(shè)置全局負(fù)載均衡器 (GLB)

全局負(fù)載均衡器 (GLB) 將用戶請(qǐng)求分發(fā)到最近的區(qū)域應(yīng)用實(shí)例，優(yōu)化延遲并提升用戶體驗(yàn)。

1. 進(jìn)入 DigitalOcean 控制臺(tái)的 Networking 部分的 Load Balancers 部分。
2. 創(chuàng)建一個(gè)新的全局負(fù)載均衡器。
3. 將區(qū)域應(yīng)用實(shí)例添加為后端目標(biāo)。
4. 配置健康檢查、超時(shí)和其他高級(jí)設(shè)置。
5. 創(chuàng)建負(fù)載均衡器。

寫在最后

這個(gè)示例適用于探索分布式 GenAI 解決方案的企業(yè)和開發(fā)者，例如生成個(gè)性化內(nèi)容的廣告平臺(tái)、社交平臺(tái)、電商平臺(tái)，或服務(wù)于全球受眾的 AI 內(nèi)容平臺(tái)。通過(guò)利用 DigitalOcean 的產(chǎn)品，我們展示了如何在部署前沿 AI 服務(wù)時(shí)平衡可擴(kuò)展性、安全性和成本效益。

如果你需要了解 DigitalOcean 的 GPU Droplet或裸金屬 GPU 服務(wù)器，可與 DigitalOcean 中國(guó)區(qū)獨(dú)家戰(zhàn)略合作伙伴卓普云聯(lián)系。

如果需要了解更多關(guān)于 AI、云架構(gòu)的開發(fā)，可關(guān)注我們的博客。