繁
在混合现实（MR）应用开发领域，一个关键瓶颈始终存在：如何让设备快速、准确地理解并识别现实世界中的物体？传统方案依赖预先训练的AI模型，耗时耗力，且泛化能力有限。如今，这一局面正被打破--"零样本物体检测套件"（Zero-ShotObjectDetectionKit）正式发布，为MetaQuest系列设备带来无需训练即可实时识别现实物体的能力。该套件标志着MR应用在环境理解层面的一次重大跃迁：开发者现在可以在其Quest应用中，直接实现对未知物体的即时识别，即便这些物体从未在训练数据中出现过。零样本检测：让AI"见物识物"所谓"零样本检测"（Zero-ShotDetection），意味着AI模型无需针对特定物体进行专门训练，即可在实际运行中识别新对象。这得益于其底层所采用的微软Florence-2大规模视觉-语言预训练模型。该模型在海量图文对数据上进行了训练，具备强大的跨模态理解能力，能够根据语义描述推断物体类别。例如，当用户指向一个从未录入系统的杯子时，系统可基于其形状、上下文和语言提示（如"这是一个陶瓷杯"），直接完成识别与标注，而无需提前准备成千上万张杯子图片进行训练。多模态能力加持：OCR+分割，像素级理解该套件不仅限于物体识别，还集成了光学字符识别（OCR）和图像分割功能。这意味着：它能读取并理解现实场景中的文字内容（如标签、说明书、广告牌）；可在像素级别精确划分物体边界，实现更精细的虚实交互--例如将虚拟效果精准贴合到真实物体表面，或实现更自然的遮挡关系。这种多模态感知能力，极大拓展了MR应用在教育、工业维修、零售导购等场景中的实用性。基于Unity，云端加速，开箱即用技术实现上，该套件构建于Unity引擎之上，便于开发者快速集成到现有项目中。其AI推理过程通过NVIDIA的云API完成，利用云端高性能GPU实现高速处理，避免了在本地设备上运行大模型带来的性能压力。更重要的是，整个流程无需额外配置或本地模型部署。开发者只需调用API，即可直接使用MetaQuest设备的彩色摄像头画面作为输入，实现实时、低延迟的物体检测。这与传统的"本地推理+定制训练"方案形成鲜明对比--后者往往需要数周甚至数月的数据准备与模型调优，而"零样本套件"真正实现了"即插即用"。
