Wan2.1-VACE：阿里开源的AI视频生成和编辑模型

通义万相 Wan2.1-VACE 是什么？

通义万相 Wan2.1-VACE 是阿里巴巴推出的强大 AI 视频生成与编辑模型。这款单一的模型即可实现多种功能，包括文生视频、图像参考视频生成、视频重绘、视频局部编辑、视频背景延展以及视频时长延展等，涵盖了全系列的基础生成和编辑能力。此次开源发布了 1.3B 和 14B 两个版本，其中 1.3B 版本可以在消费级显卡上流畅运行。开发者可以在 GitHub、HuggingFace 以及魔搭社区上下载并体验这一先进技术。此外，该模型还计划逐步在通义万相官网和阿里云百炼平台上线，为更多用户提供便捷的使用途径。AI视频生成和编辑模型" />

通义万相 Wan2.1-VACE的主要功能

1. 多模态视频生成：
   • 支持文本生成视频、图像参考生成视频、视频参考生成视频等多种输入方式。
   • 通过局部区域生成或修改视频，可以实现视频的局部编辑、内容重塑。
2. 视频编辑与重绘：
   • 支持视频的背景扩展、局部编辑、视频重绘等功能。
   • 用户可以通过深度图、光流、布局等控制信号对视频进行精确的编辑。
3. 功能自由组合：
   • 用户可以通过输入条件的组合，实现更复杂的任务，如将图片参考与主体重塑结合，进行物体替换；将首帧参考与背景扩展结合，生成不同类型的长视频。
4. 支持广泛输入格式：
   • 支持文本、图像、视频、Mask和控制信号等多种输入方式，能够保持视频生成的一致性和灵活控制视频的布局、运动姿态等。

通义万相 Wan2.1-VACE的应用场景

• 创意视频制作：为影视制作、广告创意、动画制作等领域提供支持，帮助创作者快速生成符合需求的视频素材。
• 视频内容编辑：在视频编辑领域，Wan2.1-VACE能够高效地修改现有视频内容，进行局部调整或添加新元素。
• 虚拟现实与增强现实：在VR/AR等沉浸式技术领域，利用该模型生成和编辑虚拟环境中的视频内容，提升用户体验。
• AI驱动的自动化内容创作：对于需要大量生成视频内容的行业，如社交媒体平台或在线教育，Wan2.1-VACE能高效生成内容，降低人工成本。
• 个性化视频定制：在电子商务、营销和客户服务等领域，Wan2.1-VACE可以根据用户的需求生成定制化的视频内容。

 通义万相 Wan2.1-VACE的开源地址

开发者可在GitHub、HuggingFace及魔搭社区下载体验。该模型还将逐步在通义万相官网和阿里云百炼上线。

• GitHub：https://github.com/Wan-Video/Wan2.1
• HuggingFace：https://huggingface.co/Wan-AI
• 魔搭社区：https://www.modelscope.cn/organization/Wan-AI