繁
Meta最新发布的SAM3DObjects模型为从现实世界中快速生成高质量3D资产设定了新的标准。这项技术使得仅需一张图片，即可在数秒内将现实中的物体转化为虚拟世界中的3D对象，极大地简化了3D内容创作的流程。传统方法vsAI加速长久以来，利用摄影测量法（photogrammetry）通过拍摄数十张不同角度的照片来生成3D模型是主流做法。例如，EpicGames的RealityScan需要约15到45分钟的云端处理时间，而苹果公司则为其iPhonePro系列提供了大约需要5分钟的设备端物体捕捉API（ObjectCaptureAPI）。然而，随着AI技术的进步，近年来出现了可以从单张图像中迅速生成3D资产的先进模型。尽管这些模型的质量起初不如传统的摄影测量法，但随着每一次新模型的发布，其质量也在稳步提升，反映了AI领域整体上的快速发展。SAM3DObjects：下一代3D生成模型最近，Meta发布了SAM3DObjects，这是目前最先进的从单一图像生成3D资产的模型。用户可以通过访问Meta的AIDemos页面，在网页浏览器中免费体验这一功能。只需上传一张图片，并选择想要转换成3D模型的对象，几秒钟后就能看到该对象的3D视图，并可以使用鼠标或手指进行旋转查看。值得注意的是，Meta的演示网站并不完全适配移动屏幕，因此推荐使用PC、笔记本电脑、平板电脑或VR头显进行体验。此外，SAM3DObjects目前仅适用于无生命物体，不支持人物或动物的3D建模。虽然在线演示不允许下载生成的3D模型，但SAM3DObjects是开源项目，可在GitHub和HuggingFace上获取。这意味着开发者可以在提供GPU支持的云计算平台上托管此模型，进而实现类似于EchoTheReality演示的应用，但具有更高品质的输出效果--即直接从现实中"拉取"物体进入VR环境。应用前景与未来展望社交VR平台可以借此让用户在几秒钟内展示他们房间里的物品，或者用自己制作的真实物品装饰虚拟家园。虽然Meta尚未宣布计划将此功能添加到HorizonWorlds中，但这似乎是一个自然的发展方向，能够很好地补充Meta刚刚推出的Hyperscape世界。
Meta最近推出了一款新版3D资产生成AI系统，并表示这是"一次重大的飞跃"。此前，Meta的HorizonDesktopEditor工具--用于创建HorizonWorlds内容--在上个月新增了通过文本提示生成3D资产的功能，据推测使用的是Meta在2024年推出的原始AssetGen模型。这一功能让用户无需任何3D建模技能，就能在数小时内免费构建个性化的虚拟世界。然而，这些由AI生成的资产在质量上存在明显问题，尤其在VR中近距离观察时尤为明显，而AssetGen2.0正是为了解决这些问题。Meta表示，AssetGen2.0相比初代模型，在细节和精度方面实现了"显著提升"，包括"几何结构更加一致、细节更加精细"。公司称AssetGen2.0为行业设立了新标准，并"拓展了生成式AI的可能性边界"。从技术层面来看，AssetGen2.0使用了与初代完全不同的架构。AssetGen1.0的工作方式是：首先根据文本提示生成多个2D图像视角，然后再将这些图像输入另一个神经网络来生成最终的3D资产。而AssetGen2.0则采用单阶段的3D扩散模型，直接从文本提示中生成3D资产，并且是在大量3D资产数据集上进行训练的。Meta表示，该系统已经在内部用于3D虚拟世界的构建，并计划在今年晚些时候将其集成到HorizonDesktopEditor中。Meta在官方声明中写道："我们预计AssetGen2.0将进一步降低3D内容创作的门槛，使其像2D内容创作一样易于获取，为在Meta的Horizon和Avatar平台上工作的艺术家、设计师和开发者打开全新的创意空间。"此外，Meta还透露正在开发支持"整套3D场景"生成的AI技术。这项功能将使创作者能够通过文本或图像提示，在几分钟内生成完整的虚拟世界，而不仅仅是单独的3D资产。
