✨ 主要特性

我们提出 InfiniteTalk​​，一种新颖的稀疏帧视频配音框架。给定输入视频和音频轨道，InfiniteTalk 合成一个新视频，具有准确的唇形同步，同时使头部运动、身体姿态和面部表情与音频对齐。与仅关注嘴唇的传统配音方法不同，InfiniteTalk 支持无限长度视频生成，具有准确的唇形同步和一致的身份保持。此外，InfiniteTalk 也可以作为图像-音频到视频模型使用，输入为图像和音频。

• 💬 ​​稀疏帧视频配音​​ – 不仅同步嘴唇，还同步头部、身体和表情
• ⏱️ ​​无限长度生成​​ – 支持无限视频时长
• ✨ ​​稳定性​​ – 相比 MultiTalk 减少手部/身体变形
• 🚀 ​​唇形准确性​​ – 实现优于 MultiTalk 的唇形同步

🌐 社区作品

• Wan2GP：感谢 deepbeepmeep 将 InfiniteTalk 集成到 Wan2GP 中，该工具针对低 VRAM 优化，并提供多种视频编辑选项和其他模型（MMaudio 支持、Qwen 图像编辑等）。
• ComfyUI：感谢 kijai 的 ComfyUI 支持。

📑 待办列表

• 发布技术报告
• 推理
• 检查点
• 多 GPU 推理
• 推理加速
  • TeaCache
  • int8 量化
  • LCM 蒸馏
  • 稀疏注意力
• 在极低 VRAM 下运行
• Gradio 演示
• ComfyUI

视频演示

视频到视频（高清视频可在 Google Drive 找到）

图像到视频

快速开始

🛠️安装

1. 创建 conda 环境并安装 pytorch、xformers

conda create -n multitalk python=3.10
conda activate multitalk
pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu121
pip install -U xformers==0.0.28 --index-url https://download.pytorch.org/whl/cu121

2. Flash-attn 安装：

pip install misaki[en]
pip install ninja 
pip install psutil 
pip install packaging
pip install wheel
pip install flash_attn==2.7.4.post1

3. 其他依赖

pip install -r requirements.txt
conda install -c conda-forge librosa

4. FFmeg 安装

conda install -c conda-forge ffmpeg

或

sudo yum install ffmpeg ffmpeg-devel

🧱模型准备

1. 模型下载

使用 huggingface-cli 下载模型：

huggingface-cli download Wan-AI/Wan2.1-I2V-14B-480P --local-dir ./weights/Wan2.1-I2V-14B-480P
huggingface-cli download TencentGameMate/chinese-wav2vec2-base --local-dir ./weights/chinese-wav2vec2-base
huggingface-cli download TencentGameMate/chinese-wav2vec2-base model.safetensors --revision refs/pr/1 --local-dir ./weights/chinese-wav2vec2-base
huggingface-cli download MeiGen-AI/InfiniteTalk --local-dir ./weights/InfiniteTalk

🔑 快速推理

我们的模型兼容480P和720P分辨率。

一些提示

• 唇形同步精度：音频CFG在3-5之间效果最佳。增大音频CFG值可获得更好的同步效果。
• FusionX：虽然它能实现更快的推理和更高的质量，但FusionX LoRA会加剧超过1分钟视频的颜色偏移，并降低视频中的人物ID保持度。
• V2V生成：支持无限长度生成。模型会模仿原始视频的镜头运动，但并非完全一致。使用SDEdit可显著提高镜头运动准确性，但会引入颜色偏移，最适合短视频。针对长视频的镜头控制改进已在计划中。
• I2V生成：从单张图像生成最长1分钟的良好结果。超过1分钟后，颜色偏移会变得更加明显。一个生成超过1分钟高质量视频的技巧是，通过平移或放大图像将图像复制为视频。这里有一个将图像转换为视频的脚本。
• 量化模型：如果您的推理过程因内存不足而被终止，我们建议使用量化模型，它可以帮助减少内存使用。

InfiniteTalk的使用

--mode streaming: long video generation.
--mode clip: generate short video with one chunk. 
--use_teacache: run with TeaCache.
--size infinitetalk-480: generate 480P video.
--size infinitetalk-720: generate 720P video.
--use_apg: run with APG.
--teacache_thresh: A coefficient used for TeaCache acceleration
—-sample_text_guide_scale： When not using LoRA, the optimal value is 5. After applying LoRA, the recommended value is 1.
—-sample_audio_guide_scale： When not using LoRA, the optimal value is 4. After applying LoRA, the recommended value is 2.
—-sample_audio_guide_scale： When not using LoRA, the optimal value is 4. After applying LoRA, the recommended value is 2.
--max_frame_num: The max frame length of the generated video, the default is 40 seconds(1000 frames).

1. 推理

1) 使用单GPU运行

python generate_infinitetalk.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/single/infinitetalk.safetensors \
    --input_json examples/single_example_image.json \
    --size infinitetalk-480 \
    --sample_steps 40 \
    --mode streaming \
    --motion_frame 9 \
    --save_file infinitetalk_res

2) 使用720P运行

如果您想使用720P运行，请设置--size infinitetalk-720：

python generate_infinitetalk.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/single/infinitetalk.safetensors \
    --input_json examples/single_example_image.json \
    --size infinitetalk-720 \
    --sample_steps 40 \
    --mode streaming \
    --motion_frame 9 \
    --save_file infinitetalk_res_720p

3) 在极低显存下运行

如果您想在极低显存下运行，请设置--num_persistent_param_in_dit 0：

python generate_infinitetalk.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/single/infinitetalk.safetensors \
    --input_json examples/single_example_image.json \
    --size infinitetalk-480 \
    --sample_steps 40 \
    --num_persistent_param_in_dit 0 \
    --mode streaming \
    --motion_frame 9 \
    --save_file infinitetalk_res_lowvram

4) 多GPU推理

GPU_NUM=8
torchrun --nproc_per_node=$GPU_NUM --standalone generate_infinitetalk.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/single/infinitetalk.safetensors \
    --dit_fsdp --t5_fsdp \
    --ulysses_size=$GPU_NUM \
    --input_json examples/single_example_image.json \
    --size infinitetalk-480 \
    --sample_steps 40 \
    --mode streaming \
    --motion_frame 9 \
    --save_file infinitetalk_res_multigpu

5) 多人动画

python generate_infinitetalk.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/multi/infinitetalk.safetensors \
    --input_json examples/multi_example_image.json \
    --size infinitetalk-480 \
    --sample_steps 40 \
    --num_persistent_param_in_dit 0 \
    --mode streaming \
    --motion_frame 9 \
    --save_file infinitetalk_res_multiperson

2. 使用FusioniX或Lightx2v运行（仅需4~8步）

FusioniX需要8步，而lightx2v仅需4步。

python generate_infinitetalk.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/single/infinitetalk.safetensors \
    --lora_dir weights/Wan2.1_I2V_14B_FusionX_LoRA.safetensors \
    --input_json examples/single_example_image.json \
    --lora_scale 1.0 \
    --size infinitetalk-480 \
    --sample_text_guide_scale 1.0 \
    --sample_audio_guide_scale 2.0 \
    --sample_steps 8 \
    --mode streaming \
    --motion_frame 9 \
    --sample_shift 2 \
    --num_persistent_param_in_dit 0 \
    --save_file infinitetalk_res_lora

3. 使用量化模型运行（仅支持单GPU运行）

python generate_infinitetalk.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/single/infinitetalk.safetensors \
    --input_json examples/single_example_image.json \
    --size infinitetalk-480 \
    --sample_steps 40 \
    --mode streaming \
    --quant fp8 \
    --quant_dir weights/InfiniteTalk/quant_models/infinitetalk_single_fp8.safetensors \
    --motion_frame 9 \
    --num_persistent_param_in_dit 0 \
    --save_file infinitetalk_res_quant

4. 使用Gradio运行

python app.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/single/infinitetalk.safetensors \
    --num_persistent_param_in_dit 0 \
    --motion_frame 9 

或

python app.py \
    --ckpt_dir weights/Wan2.1-I2V-14B-480P \
    --wav2vec_dir 'weights/chinese-wav2vec2-base' \
    --infinitetalk_dir weights/InfiniteTalk/multi/infinitetalk.safetensors \
    --num_persistent_param_in_dit 0 \
    --motion_frame 9 

📚 引用

如果您觉得我们的工作对您的研究有用，请考虑引用：

@misc{yang2025infinitetalkaudiodrivenvideogeneration,
      title={InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing}, 
      author={Shaoshu Yang and Zhe Kong and Feng Gao and Meng Cheng and Xiangyu Liu and Yong Zhang and Zhuoliang Kang and Wenhan Luo and Xunliang Cai and Ran He and Xiaoming Wei},
      year={2025},
      eprint={2508.14033},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2508.14033}, 
}

📜 许可证

本仓库中的模型根据Apache 2.0许可证授权。我们对您生成的内容不主张任何权利， 授予您使用它们的自由，同时确保您的使用符合本许可证的规定。 您对模型的使用负全部责任，不得涉及分享任何违反适用法律、 对个人或群体造成伤害、传播旨在伤害的个人信息、散布错误信息或针对弱势群体的内容。