
8 月 18 日,Meta 面向开发者公开了新工具「Meta XR Operator」,作为实验性组件包含在 Meta XR SDK v205 中。该工具让支持 MCP 的 AI 智能体能够查看并操作运行于 Meta XR Simulator 中的 VR 应用。(※MCP:连接 AI 工具与外部系统的通用标准)
AI 编码辅助已经普及到读代码、写代码、跑测试的阶段。但在 VR 开发中,流程往往卡在验证环节之前——原因在于智能体无法查看应用画面,也没有按下按钮确认运行状态的手段。Meta XR Operator 正是为攻克这一课题而发布的。

工作机制上,该工具插入应用与 OpenXR 运行时之间,将 XR 状态与输入控制通过 MCP 交给外部。由此,智能体可以完成截屏、读取墙壁和地板等空间信息、操控控制器、查看 Unity 场景结构以及操作 UI。画面数据只在智能体主动请求时获取,因此将了对帧率的影响压到最低。应用侧代码无需任何改动。
预想的使用场景有三类:逐步追加功能的迭代开发、从复现缺陷到确认修复的完整流程,以及按照自然语言编写的步骤执行测试。

Beat Games 等厂商参与了事前测试。智能体在无需人工介入的情况下,完成了从构建到验证的全部工序。在 Beat Saber 的菜单界面中,智能体还检测出了此前自动化测试一直遗漏的 UI 重叠缺陷。

Meta 同时披露了现阶段的功能限制:手部追踪仅处理单手级别的瞄准,不支持逐指数据;无法处理音频,也不能评估动画运动。相比移动物体或受时间因素影响的行为,该工具更适合静止场景的验证。
Meta 计划在本季度内发布后续文章,深入讲解如何读取和操作 Unity 场景。

VR52网成立于2015年,平台提供VR头显、AR眼镜、配件外设、厂商、测评、行业资讯、游戏与应用、展会活动等。