2025年1月21日,WorldLabs宣布推出一款名为WorldAPI的创新接口,允许用户通过其先进的多模态世界模型"Marble"生成并构建可探索的3D虚拟环境。该平台自2025年11月公开以来,因其能够从文本、图像、视频及全景照片等多种输入源生成高度逼真的3D世界而广受赞誉。Marble的核心能力:从素材到虚拟空间的无缝转换"Marble"具备以下关键特性:支持多种输入格式:无论是实景拍摄的照片、视频还是纯文本描述,都能转化为可供用户自由漫游的虚拟空间;智能解析与整合:自动分析输入素材的布局和结构,并将生成的数据无缝集成至网页浏览器或专业制作工具中;高度编辑性:用户可以轻松调整材质质感、删除不必要物体、修正区域边界,甚至为场景增添细节或连接多个空间。此外,WorldAPI还支持以GaussianSplatting(高斯泼溅)和Mesh两种格式输出3D模型,确保与主流游戏引擎及其他标准制作工具的兼容性。应用广泛:从游戏到建筑,再到机器人模拟WorldAPI不仅限于娱乐领域,其应用场景覆盖了多个行业:游戏开发:通过摄像头操作实时生成动态视频,模拟火焰、水流等复杂效果;建筑设计:助力设计师将草图快速转化为三维可视化成果,加速设计流程;机器人仿真:已被NVIDIA等知名公司采用,在机器人训练与测试环境中发挥重要作用;沉浸式体验:如Escape.ai仅凭20张图片即可创建出引人入胜的虚拟环境。强大的技术背景与资金支持WorldLabs由著名AI研究者李飞飞博士创立,并已获得来自顶尖投资机构的总计2.3亿美元融资。这一雄厚的资金基础为其技术研发提供了坚实保障,推动着WorldAPI不断拓展其在各领域的应用潜力。项目地址:https://www.worldlabs.ai/blog/announcing-the-world-api
只需输入一段文字或一张图片,就能即时生成一个完整、连贯且可自由漫游的3D虚拟空间--这正是AI初创公司SpAItialAI最新推出的生成式模型Echo所实现的能力。该技术不仅大幅降低3D内容创作门槛,更重新定义了人与虚拟空间的交互方式。真正的"空间生成",而非像素拼接Echo背后的核心技术是一种被称为空间基底模型(SpatialFoundationModel,SFM)的新型AI架构。与传统生成模型聚焦于像素不同,SFM直接以物理空间本身为生成对象。它能基于现实世界的物理规律,在米级尺度上预测完整的3D场景结构,确保新视角、深度图及交互结果均源自同一个一致的底层世界模型。这意味着,无论用户从哪个角度观察或如何操作环境,所见内容都具备几何与语义上的一致性,避免了传统方法常见的视角断裂或逻辑矛盾问题。实时交互+低门槛访问,人人皆可创作3DEcho生成的3D世界支持实时相机控制与即时渲染,即使在普通笔记本电脑或低性能设备上,也能通过网页浏览器流畅运行,无需高端显卡或专业VR设备。这种轻量化设计使其覆盖人群从专业设计师延伸至普通消费者。更关键的是,Echo并非"一次性输出"。用户可在生成后对3D场景进行深度编辑:更换材质、增删物体、整体风格重绘等操作均可实现,且系统会自动维持场景的三维一致性,确保修改后的世界依然逻辑自洽、视觉连贯。应用场景广阔,从游戏到机器人仿真凭借上述特性,Echo为多个领域打开了新的工作流可能:数字孪生:快速构建真实环境的可交互复刻;游戏开发:一键生成基础关卡并支持后续迭代;3D设计与建筑可视化:从草图或描述直接进入空间体验;机器人训练:在符合物理规律的合成环境中进行仿真学习。目前,SpAItialAI已在其官网展示多个由Echo生成的示例世界,并开放封闭测试注册通道。用户仅需提供一段文本或单张图像,即可尝试构建属于自己的可编辑3D宇宙。体验申请:https://www.spaitial.ai/join-waitlist
Meta最新发布的SAM3DObjects模型为从现实世界中快速生成高质量3D资产设定了新的标准。这项技术使得仅需一张图片,即可在数秒内将现实中的物体转化为虚拟世界中的3D对象,极大地简化了3D内容创作的流程。传统方法vsAI加速长久以来,利用摄影测量法(photogrammetry)通过拍摄数十张不同角度的照片来生成3D模型是主流做法。例如,EpicGames的RealityScan需要约15到45分钟的云端处理时间,而苹果公司则为其iPhonePro系列提供了大约需要5分钟的设备端物体捕捉API(ObjectCaptureAPI)。然而,随着AI技术的进步,近年来出现了可以从单张图像中迅速生成3D资产的先进模型。尽管这些模型的质量起初不如传统的摄影测量法,但随着每一次新模型的发布,其质量也在稳步提升,反映了AI领域整体上的快速发展。SAM3DObjects:下一代3D生成模型最近,Meta发布了SAM3DObjects,这是目前最先进的从单一图像生成3D资产的模型。用户可以通过访问Meta的AIDemos页面,在网页浏览器中免费体验这一功能。只需上传一张图片,并选择想要转换成3D模型的对象,几秒钟后就能看到该对象的3D视图,并可以使用鼠标或手指进行旋转查看。值得注意的是,Meta的演示网站并不完全适配移动屏幕,因此推荐使用PC、笔记本电脑、平板电脑或VR头显进行体验。此外,SAM3DObjects目前仅适用于无生命物体,不支持人物或动物的3D建模。虽然在线演示不允许下载生成的3D模型,但SAM3DObjects是开源项目,可在GitHub和HuggingFace上获取。这意味着开发者可以在提供GPU支持的云计算平台上托管此模型,进而实现类似于EchoTheReality演示的应用,但具有更高品质的输出效果--即直接从现实中"拉取"物体进入VR环境。应用前景与未来展望社交VR平台可以借此让用户在几秒钟内展示他们房间里的物品,或者用自己制作的真实物品装饰虚拟家园。虽然Meta尚未宣布计划将此功能添加到HorizonWorlds中,但这似乎是一个自然的发展方向,能够很好地补充Meta刚刚推出的Hyperscape世界。