Loopy：字节推出的音频驱动的AI人像视频生成模型，让声音与画面完美匹配

Loopy是什么？

Loopy是由字节跳动和浙江大学团队联合开发的基于音频驱动的AI人像视频生成模型，无需使用复杂的空间运动模板，只需一帧图像和音频输入，即可捕捉长时间的自然运动模式，使虚拟人物的动作与音频的情感和节奏精准匹配，生成逼真的虚拟人物动态效果，解决了传统虚拟形象中画面和声音不同步的问题。

Loopy的功能特性

• 音频驱动的动态生成：通过音频输入生成虚拟人物的动作，包括头部、眼睛、眉毛等微表情，能够完美适应不同的音频风格。
• 多样化动作生成：支持根据不同的音频输入生成同一参考图像的多样化动作效果，从快速动态到柔和表现不一而足。
• 面部情感同步：Loopy 能够生成包括叹息等非语言的情感动作，确保虚拟人物的情感表达与音频内容一致。
• 适应各种视觉风格：Loopy 可以处理不同角度的图像，甚至是侧面图像，生成的虚拟形象自然流畅，真实感极强。
• 无需空间运动模板：与传统方法不同，Loopy 不需要使用手动指定的运动模板，直接通过音频进行自然的动作生成。

Loopy的使用场景

• 虚拟主播和虚拟偶像：在虚拟主播或虚拟偶像的场景下，Loopy 可以根据主播的声音生成与其匹配的动画，使虚拟角色更加生动逼真。
• 电影和动画制作：电影或动画制作中，Loopy 可以减少手动动画制作的工作量，通过音频输入生成自然的面部表情和动作，提升制作效率。
• 内容创作与短视频制作：创作者可以利用 Loopy 为短视频或其他内容生成个性化的虚拟人物动画，节省时间并丰富创作表达。
• 游戏角色动画：游戏中的角色可以通过 Loopy 生成音频驱动的动作和表情，大幅提升角色互动的自然感和玩家的沉浸感。
• 虚拟会议和社交场景：在视频会议或虚拟社交平台上，Loopy 可以为用户提供真实感更强的虚拟形象，自动根据音频生成动作，增强互动体验。
• 教育和在线培训：Loopy 可以为在线教育平台提供虚拟教师形象，使教师的音频讲解与虚拟形象的动作自然同步，提升教学效果。

Loopy 广泛适用于需要音频与虚拟形象动作同步的各种场景，为内容创作者和企业提供高效且逼真的动画生成解决方案。

如何使用Loopy？

Loopy目前开放了论文，提供了大量演示视频，暂未对外开放使用，相关地址如下：

• Loopy项目地址：https://loopyavatar.github.io/
• Loopy论文地址：https://arxiv.org/pdf/2409.02634