# 克隆仓库git clone https://github.com/character-ai/Ovi.git
cd Ovi
# 创建并激活虚拟环境virtualenv ovi-envsource ovi-env/bin/activate
# 首先安装PyTorchpip install torch==2.6.0 torchvision torchaudio
# 安装其他依赖pip install -r requirements.txt
# 安装Flash Attentionpip install flash_attn --no-build-isolation

# 默认下载到./ckpts，推理yaml设置为./ckpts，因此无需更改python3 download_weights.py
# 或者指定--output-dir下载到特定目录python3 download_weights.py --output-dir <custom_dir>
# 如果只有约24Gb GPU VRAM，请下载fp8量化版本wget -O "./ckpts/Ovi/model_fp8_e4m3fn.safetensors" "https://huggingface.co/rkfg/Ovi-fp8_quantized/resolve/main/model_fp8_e4m3fn.safetensors"

# 输出和模型配置output_dir: "/path/to/save/your/videos"  # 保存生成视频的目录ckpt_dir: "/path/to/your/ckpts/dir"      # 模型检查点路径
# 生成质量设置num_steps: 50              # 去噪步骤数。较低（30-40）= 更快生成solver_name: "unipc"       # 去噪过程的采样算法shift: 5.0                 # 采样调度器的时间步偏移因子seed: 100                  # 可重现结果的随机种子
# 引导强度控制audio_guidance_scale: 3.0  # 音频条件强度。较高 = 更好的音频-文本同步video_guidance_scale: 4.0  # 视频条件强度。较高 = 更好的视频-文本遵循slg_layer: 11              # 应用SLG（跳过层引导）技术的层
# 多GPU和性能sp_size: 1                 # 序列并行大小。设置为使用的GPU数量cpu_offload: False         # CPU卸载，将大幅减少峰值GPU VRAM，但增加端到端运行时间约20秒fp8: False                 # 加载fp8版本模型，会有质量下降，推理时间不会加快
# 输入配置text_prompt: "/path/to/csv" or "your prompt here"  # 文本提示或包含提示的CSV/TSV文件路径mode: ['i2v', 't2v', 't2i2v']  # 生成t2v、i2v或t2i2vvideo_frame_height_width: [512, 992]  # T2V模式的视频尺寸[高度，宽度]each_example_n_times: 1    # 每个提示生成的次数
# 质量控制（负面提示）video_negative_prompt: "jitter, bad hands, blur, distortion"  # 视频中要避免的伪影audio_negative_prompt: "robotic, muffled, echo, distorted"    # 音频中要避免的伪影

python3 inference.py --config-file ovi/configs/inference/inference_fusion.yaml

torchrun --nnodes 1 --nproc_per_node 8 inference.py --config-file ovi/configs/inference/inference_fusion.yaml

python3 gradio_app.py
# 启用CPU卸载以节省GPU VRAMpython3 gradio_app.py --cpu_offload
# 启用额外的图像生成模型为I2V生成第一帧python3 gradio_app.py --use_image_gen
# 使用24Gb GPU VRAM运行模型python3 gradio_app.py --cpu_offload --qint8

@misc{low2025ovitwinbackbonecrossmodal,      title={Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation},       author={Chetwin Low and Weimin Wang and Calder Katyal},      year={2025},      eprint={2510.01284},      archivePrefix={arXiv},      primaryClass={cs.MM},      url={https://arxiv.org/abs/2510.01284}, }