Stable Diffusion是一種基于擴(kuò)散模型的圖像生成技術(shù)，能夠從文本生成高質(zhì)量的圖像，適用于CG，插圖和高分辨率壁紙等領(lǐng)域。

但是它計算過程復(fù)雜，使得它的生成速度較慢。所以研究人員就創(chuàng)造了各種提高其速度的方式，比如Xformers、Aitemplate、TensorRT和onflow。在本文中我們將對這些加速方法進(jìn)行了一系列對比測試。

在本文中，我們將介紹這些加速方法的原理和性能測試結(jié)果，并提供對不同顯卡的成本效益總結(jié)，我們的目標(biāo)時在并在2秒內(nèi)生成高質(zhì)量的圖像。

通過我們的試驗與RTX 3090上的Xformers相比，OneFlow實現(xiàn)了211.2%的加速，在RTX 4090上實現(xiàn)了205.6%的加速。所以一個高配的GPU還是很必要的。

加速方案原理及特性

以下表格整理了目前能夠看到的加速方案

本文使用Xformers, Aitemplate, TensorRT和onflow進(jìn)行測試。因為NvFuser在原理上與Xformers相似，都使用了FlashAttention技術(shù)。DeepSpeed和colossalAI主要是為訓(xùn)練加速而設(shè)計的，而OpenAI Triton則是一個模型部署引擎，適用于批大小的加速，但不適用于優(yōu)化延遲場景，所以這些都包含在本文中。

我們使用VoltaML來評估Aitemplate的加速效果，使用Stable Diffusion web來評估Xformers的加速，使用官方TensorRT示例來評估TensorRT的性能，并將OneFlow集成到Diffusion中來測試其加速度。

加速方案測試

接下來，我們將介紹相關(guān)的測試配置

1、測試設(shè)置

我們的性能度量是每秒迭代數(shù)(its/s)。圖像設(shè)置為512*512，步驟100

提示詞為:A beautiful girl, best quality, ultra-detailed, extremely detailed CG unity 8k wallpaper, best illustration, an extremely delicate and beautiful, floating, high resolution.

Negative提示: Low resolution, bad anatomy, bad hands, text error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, bad feet, fused body.

Sampler: Euler a

模型:Stable Diffusion 1.5

2、測試結(jié)果

在各種gpu上的性能測試結(jié)果，如下圖所示（上圖第一行為Xformers，第三行為Aitemplate ，第四行為OneFlow ）:

加速度比較如下:OneFlow > TensorRT > Aitemplate > Xformers。

與RTX 3090上的Xformers相比，OneFlow實現(xiàn)了211.2%的相對加速，在RTX 4090上實現(xiàn)了205.6%的加速。

以下是一個結(jié)果：

GPU性價比

通過對不同的gpu進(jìn)行了成本效益分析，得到以下結(jié)論:

從性價比角度來看，RTX4090 GPU性價比最高，目前RTX 2080Ti是最高性價比，極低端的gpu會增加整體成本。所以不建議用低端入門級GPU。

我們這里選擇的幾個低端gpu，包括M60、1660s和1080，問題如下：

1、GPU如1660和1080不支持加速方案，如TensorRT, Aitemplate，和OneFlow，可能是由于內(nèi)存不足或GPU不兼容

2、其中1660s(1080)在生成512*512的20步圖像，耗時7.66s (7.57s)，達(dá)到2.61 it/s (2.64 it/s)，雖然慢，但是可以用，如果你時間富?；蛘咧皇峭嬉幌驴梢钥紤]

3、M60達(dá)到1.27 it/s, 20步生成512*512圖像需要15.74s，比1660s又慢了1倍

選擇的建議

1、雖然RTX 4090有最高的速度，但RTX 3090也是可以考慮，RTX 3090的性能優(yōu)于其他同級別的gpu，如A5000和A4000（下面價格基于云服務(wù)提供商的GPU價格計算，自購肯定RTX 4090，因為比3090差不了多少錢）。

2、更大的VRAM允許緩存更多的模型，減少模型加載時間，并顯著加快圖像生成過程。

RTX 3090和RTX 4090都有24GB的VRAM，但如果穩(wěn)定擴(kuò)散web是基于VRAM使用進(jìn)行優(yōu)化，RTX 3090可能在VRAM成本上有優(yōu)勢。如果優(yōu)先考慮推理速度，RTX 4090是最佳選擇，因為它的推理時間大約是RTX 3090的一半。

3、不同gpu的更多詳細(xì)信息，請參閱下面的圖表。

以上就是完整的測試，希望對你有所幫助。

https://avoid.overfit.cn/post/4d41ab2ecdce462786892e315dc49ecc

作者：Omniinfer