Stable Video 3D-单张图片生成高质量3D内容和视频

Stable Video 3D是什么？

Stable Video 3D是一个由Stability AI 推出的3D技术模型，能够从单张图片生成高质量的多视角3D内容和视频。Stable Video 3D包含两个变体，SV3D_u和SV3D_p，分别用于生成轨道视频和沿指定相机路径的3D视频。

Stable Video 3D 的优势在于其能够通过视频扩散模型生成对象的多视角视频，相比 Stable Zero123 使用的图像扩散模型，提供了更好的泛化能力和生成输出的视图一致性。

Stable Video 3D的主要特性

Stable Video 3D的主要特性包括：

1. 多视角生成：能够从单张图片生成对象的多视角视频，提供更加丰富的3D视图体验。
2. 两种变体：

• SV3D_u：生成基于单张图片输入的轨道视频，无需相机条件设置。
• SV3D_p：支持单张图片和轨道视图，允许创建沿指定相机路径的3D视频。

1. 改进的3D优化：利用视频扩散模型的能力，提出了改进的3D优化技术，能够生成围绕对象的任意轨道。
2. 解耦的照明优化：通过分离照明优化，提高3D模型的真实感。
3. 新的掩蔽分数蒸馏采样损失函数：这一技术使得Stable Video 3D能够从单张图片输入可靠地输出高质量的3D网格。
4. 新视角合成（NVS）：在3D生成方面，Stable Video 3D引入了显著的NVS进步，能够从任何角度提供一致的视图，增强了姿态控制性和对象在多个视图中的一致性。

这些特性共同使得Stable Video 3D成为一个强大的工具，用于创造高质量的3D内容和视频，适用于多种应用场景。

如何使用Stable Video 3D？

Stable Video 3D 目前可以用于商业目的，需要通过 Stability AI Membership 访问。非商业用途的用户可以在 Hugging Face 上下载模型权重，并查看相关的研究论文。