引子

智譜AI版Sora開源，首個(gè)可商用，18G顯存即可運(yùn)行。前文寫了Open-Sora1.2的博文，感興趣的童鞋請移步（Open-Sora1.2環(huán)境搭建&推理測試_open sora 1.2-CSDN博客）。對于這種占用資源少，且效果不錯(cuò)的多模態(tài)模型那么肯定不容錯(cuò)過。OK，我們開始吧。

一、模型介紹

CogVideoX是?清影?同源的開源版本視頻生成模型。

下表展示目前我們提供的視頻生成模型列表，以及相關(guān)基礎(chǔ)信息:

模型名	CogVideoX-2B
提示詞語言	English
單GPU推理 (FP-16) 顯存消耗	18GB using SAT 23.9GB using diffusers
多GPU推理 (FP-16) 顯存消耗	20GB minimum per GPU using diffusers
微調(diào)顯存消耗 (bs=1)	42GB
提示詞長度上限	226 Tokens
視頻長度	6 seconds
幀率（每秒）	8 frames
視頻分辨率	720 * 480
量化推理	不支持
下載地址 (Diffusers 模型)	Huggingface ModelScope
下載地址 (SAT 模型)	SAT

二、環(huán)境搭建

模型下載

魔搭社區(qū)

代碼下載

git clone https://github.com/THUDM/CogVideo.git

環(huán)境安裝

docker run -it -v /datas/work/zzq/:/workspace --gpus=all pytorch/pytorch:2.4.0-cuda12.4-cudnn9-devel bash

cd /workspace/CogVideo/CogVideo-main

pip install -r requirements.txt -i Simple Index

pip install imageio -i Simple Index

pip install omegaconf -i Simple Index

三、推理測試

python inference/cli_demo.py --model_path /workspace/CogVideo/CogVideo-main/CogVideoX-2b/ --prompt "A man is running in the sea"

好吧，顯存爆了，需要24G顯存 ，我這邊可用顯存只有22G+