尽管Meta的Quest头显一直以来都依赖摄像头来追踪头显位置、控制器状态以及用户周围环境,但开发者却从未拥有同等水平的相机访问权限。今年早些时候,Meta首次允许开发者在私有项目中尝试直接访问头显摄像头功能;而从本周起,开发者现在可以公开发布使用这一新功能的应用。PassthroughCameraAPI更新上线:Quest3和3S正式开放相机权限随着本周发布的PassthroughCameraAPI(直通摄像头应用编程接口)更新,Quest3和Quest3S的开发者现在可以将能够直接调用前置摄像头的App发布到Horizon商店。这意味着第三方应用将有能力"看见"用户所看到的世界,并基于此进行理解和交互。例如,开发者可以为应用添加计算机视觉功能,用于识别和追踪场景中的物体或人物,或者构建用户环境的地图,以实现更高级的分析与互动体验。长期受限的技术权限,如今终于解封长期以来,由于Meta对头显硬件访问权限的限制,这类功能一直无法实现。尽管智能手机平台早已广泛向开发者开放了计算机视觉能力,但Meta在这方面一直持谨慎态度,这显然与其对隐私保护的关注有关--尤其是在公司过去曾多次卷入隐私争议的背景下。在此之前,第三方应用虽然也能获取一些关于用户环境的信息,比如房间形状和大致物体布局,但这些数据都是由系统经过处理后提供,App本身无法直接访问摄像头画面。这种方式让开发者可以创建一定程度上具备空间感知能力的混合现实应用,但也导致一些特定需求难以实现,例如精确追踪用户手中持有的某个物体。从实验阶段走向正式可用去年,Meta宣布将逐步开放对摄像头的直接访问权限。今年三月,公司开始向开发者提供该功能的实验性版本,允许他们开发能调用摄像头的应用程序。不过直到现在,这些应用才被允许对外发布、面向公众使用。摄像头性能参数公布Meta同时公布了开发者可在Quest3和Quest3S上访问的摄像头技术规格:图像采集延迟:40–60毫秒GPU占用率:每个摄像头流约1–2%内存占用:约45MB数据帧率:30Hz最大分辨率:1280×960内部数据格式:YUV420数据使用政策同步明确Meta表示,开发者在Quest平台上对摄像头数据的使用需遵守其《开发者数据使用政策》(DeveloperDataUsePolicy),其中包括"禁止的数据使用行为"条款。根据该政策,开发者不得利用摄像头数据进行、协助或提供监控工具,也不得用于唯一标识设备或用户(除非政策中有特别许可)。小结此次摄像头权限的全面开放,标志着Meta在推动VR/AR应用边界方面迈出了重要一步。它不仅为开发者解锁了更多创作自由,也为未来的混合现实体验打开了新的可能性。与此同时,Meta也在努力在创新与隐私保护之间取得平衡。
扩展现实(ExtendedReality,简称XR)技术--包括增强现实(AR)、虚拟现实(VR)和混合现实(MR)--正在正式进入企业应用场景。它不仅改变了员工的培训方式、协作模式,甚至影响了创意流程。然而,随着XR设备变得越来越复杂,集成了新型传感器、人工智能和追踪功能,它们也在收集越来越多的数据。这迫使企业在拥抱新技术的同时,重新思考如何处理用户追踪、隐私保护和数据安全的问题。从洞察中获益,也面临风险XR设备收集到的深层用户行为数据对企业发展来说其实是一件好事。比如,通过分析用户的操作行为、面部表情、情绪反馈(来自肌电图EMG技术),企业可以更好地提升生产力、效率和培训效果。但与此同时,每一个新增的数据点都带来了合规性、隐私性和安全性方面的挑战。企业在迎接沉浸式办公新时代的同时,必须谨慎行事,确保始终遵循最新的法规要求。XR用户追踪:隐私、安全与合规的新战场我们已经远远超越了只能记录控制器按键操作的早期XR设备。如今像AppleVisionPro这样的设备能够追踪甚至记录生物识别数据;许多头显设备配备了手势识别和动作追踪传感器,以提升用户体验。此外,还有各种"附加设备"能收集更多深度信息。例如MetaOrion的EMG手环,就能捕捉非常细致的动作信号。根据你选择的技术工具,你的沉浸式系统可能具备记录以下内容的能力:头部朝向手势动作眼动轨迹瞳孔扩张用户环境的空间地图甚至基于微表情、语调和肌肉张力来判断情绪状态这些新的数据维度为业务创新打开了大门。例如,在虚拟现实销售培训中,系统可以通过眼动追踪判断学员是否直视客户虚拟形象,而动作传感器则可以分析哪些手势更具说服力。但随之而来的问题同样严峻。生物识别数据:机遇与威胁并存在用户追踪、隐私和安全方面,生物识别数据是一把双刃剑。一方面,它可以提升系统的安全性。例如,VisionPro的眼动追踪功能支持生物认证机制,使得外部人员更难访问设备或应用程序。另一方面,生物识别数据也可能被恶意攻击者截获。虹膜扫描、实时动作模式,甚至是心率等生理数据,都可能成为攻击目标。黑客有可能利用这些信息窃取个人身份、定位位置,甚至获取身体弱点信息,特别是在医疗健康领域。更严重的是,攻击者可能收集足够多的个人数据,用于生成深度伪造(deepfake)、劫持虚拟化身(avatar)或实施欺诈行为。手势与眼动追踪:便利与隐私的博弈手部和眼动追踪能力确实让XR解决方案在企业中更加高效。它们可以增强沉浸感、减少对控制器的依赖,甚至通过注视渲染(foveatedrendering)优化计算资源使用。同时,这些技术还能为企业提供大量有价值的数据,用于分析产品体验、改进教育成果或增强团队协作。但同样,这些数据的收集也带来了明显的隐私风险。加州大学伯克利分校的一项研究发现,仅需两秒钟的手部和眼动追踪数据,就足以帮助犯罪分子唯一识别出某个用户。这引发了严重的隐私担忧。企业合规性:日益复杂的监管环境随着XR技术的普及,遵守不断变化的数据收集与存储规定变得越来越困难。在欧盟,《通用数据保护条例》(GDPR)对企业如何收集、存储和处理个人信息提出了严格要求。其中,生物识别数据被视为"特殊类别",需要更高的保护标准和明确的用户同意。对于在XR环境中处理医疗或健康相关数据的企业而言(如使用虚拟现实进行患者治疗的医疗机构),HIPAA合规性也成为必须考虑的问题。随着XR越来越沉浸化,"个人数据"与"企业数据"的界限正在模糊,企业必须制定一套完善的策略,应对用户追踪与隐私管理的挑战。XR用户追踪隐私与安全的最佳实践随着设备和软件持续收集更多数据,企业不能再将安全与合规视为事后的补充措施。无论是投资混合现实、增强现实还是虚拟现实解决方案,还是使用触觉反馈配件或XR软件平台,都需要有清晰的规划。以下是如何优先保障XR用户追踪隐私与安全的几点建议:1.进行用户追踪隐私与安全评估从基础开始,识别最大的用户追踪隐私与安全威胁在哪里。根据你打算如何使用这些技术以及你所投资的设备类型,你需要了解:哪些数据会被头显和配件收集?数据存储在哪里?存在哪些潜在漏洞?绘制出你的重点区域。请注意,并非所有XR数据的敏感度相同。例如,在医疗行业中实时追踪生物特征可能比在培训模拟菜单中记录用户停留时间更具风险。根据评估结果,仔细考虑某些"用户追踪"功能是否应被启用。例如,在培训模块中使用触觉反馈是有意义的,但在日常协作会话中可能并不必要。2.实施强大的数据保护措施接下来,升级你的数据保护策略。利用先进的身份验证和访问控制选项,例如多因素认证(MFA)。使用主要XR厂商提供的企业级软件解决方案。例如,MetaforBusiness提供了设备使用监控、用户上下线管理以及数据控制等功能。在选择用于协作、培训或客户服务的XR应用时,确保所有信息在静止和传输过程中均加密。如果你使用云服务,请确保额外的安全措施到位。考虑采用隐私增强技术(PETs),如差分隐私(differentialprivacy)或设备端处理(on-deviceprocessing),以掩盖用户数据,防止原始生物识别资料离开硬件。例如,苹果强调其大部分面部和眼部追踪数据都在VisionPro上本地处理,减少了对外部共享的需求。3.制定严格的安全部署政策并开展员工培训人为错误始终是企业合规性的最大风险之一。在制定XR用户追踪隐私策略时,必须建立明确的政策,引导员工正确使用这些设备。运行模拟场景,比如在VR协作环境中出现可疑弹窗的"XR钓鱼尝试",并展示员工如何识别和报告这些异常行为。教育员工更新设备和软件的重要性(以降低数据泄露风险),并对他们透明地说明其数据的使用方式。还要确保每位员工都能快速应对突发情况。例如,一旦检测到数据泄露,所有成员都应该知道如何隔离受感染设备、上报问题并收集有用信息。4.匿名化与最小化数据采集用户追踪隐私的一条黄金法则是:只收集你真正需要的数据。不要记录和存储一切,那样只会增加风险。例如,在一个XR培训项目中,你可能不需要记录每一次目光焦点或微表情,只需要了解每个模块中员工的参与度即可。当你收集更敏感的数据(如生物识别信息或行为数据)时,考虑匿名化处理。这样可以在不保留大量个人可识别信息的前提下,获得有用的统计指标。此外,设定明确的数据保留周期。你不必永久保存所有数据--定期清理有助于缩小威胁面。正确处理用户追踪隐私、安全与合规随着扩展现实技术不断发展,我们所收集的数据量正以前所未有的速度增长。这既是机会,也是挑战。你收集的数据越多,就越能优化XR战略、解锁新机遇;但与此同时,收集和处理大量数据也必然带来隐私与安全上的风险。沉浸式工作空间仍然是工作空间,仍然受到严格规则和法规的约束。别让拥抱XR技术的大门,意外地为新的安全威胁敞开了入口。
如果说扩展现实(XR)头显正在改变我们的工作方式,那么当你开始为沉浸式体验添加"触觉反馈"时,真正的变革才刚刚开始。如今,越来越多的企业正借助可穿戴触觉技术提升培训、协作乃至产品设计等业务场景的效率。从手套到全身套装:触觉交互进入多样化时代如今的触觉反馈早已不再局限于VR手套。越来越多公司正在探索触觉背心、全身体感服、触感座椅、指环、腕带等多种形式的可穿戴设备,让虚拟世界更加"真实"。这些设备不仅丰富了用户对数字环境的感知层次,还带来了远超预期的实际效益,尤其是在与XR技术结合之后,其在企业中的应用潜力愈发显著。为什么触觉反馈对企业如此重要?随着XR技术在企业中的普及,沉浸式体验的价值日益凸显。例如,在虚拟会议室中与同事面对面交流,比视频会议更具沟通效率和参与感;现场维修人员通过远程专家实时指导操作设备,也变得更安全、高效;而利用XR进行产品设计,则能大幅缩短开发周期并降低成本。而加入触觉反馈后,这种沉浸感被进一步加强。例如:WEARTTouchDIVERPro手套可在用户接触数字物体时模拟重量、力度甚至温度;bHapticsTactsuit全身背心则能模拟全身触感,适用于需要高度沉浸感的训练场景。起初,触觉系统可能只是XR领域的一种"新奇配件",但随着其带来的实际效益逐渐显现,它正逐步成为企业XR生态的重要一环。提升用户体验与可访问性当数字环境具备三维触感--当你能感受到纹理、接收到振动提示数据时,整个体验就发生了质的飞跃。触觉反馈提升了用户的参与度和互动质量,从而带来更高的效率、生产力以及更快的问题解决能力。比如,在微软的ImmersiveSpaces会议中,当你能在虚拟白板上感受到笔的压力时,书写体验就更加自然。而在产品设计过程中,如果能够"触摸"到虚拟模型的细节,将大大提升设计精度。此外,触觉技术还能改善残障人士的工作体验。例如,通过震动或脉冲引导视障员工完成菜单操作、文档浏览等任务,使工作环境更具包容性和无障碍性。强化学习与培训效果沉浸式学习正在企业培训领域掀起一场革命。大量研究表明,使用XR技术进行培训有助于提高知识留存率、增强参与度、提升绩效表现,并加速技能掌握。而触觉反馈的加入,使培训仿真更加逼真,从而进一步提升培训成效。企业可以构建高度真实的虚拟训练环境,让员工在无风险条件下操作设备、应对复杂场景。例如:应急救援人员可以在模拟火灾环境中接受训练,感受高温与震动;医疗从业者无需依赖尸体即可练习手术操作,感受到手术刀的重量与组织的阻力。一项发表于美国国家医学图书馆的研究表明,在骨科钻孔任务中,配备触觉反馈的VR训练显著提高了学员的操作表现。这意味着,企业可以获得传统实操培训的优势,同时避免设备损耗与安全风险。提升职场安全性除了在培训中的应用,触觉设备还可直接用于高危作业环境的安全管理。例如,在制造业中,员工可通过触觉背心感知温度变化或接近危险区域时的提醒;在VR训练中,当用户靠近虚拟边缘或在化工厂误入泄漏区时,腕带或指环会立即振动预警。这些设备还可以收集员工的生理数据(如体温、心率等),实时反馈给管理者,帮助判断员工是否处于危险状态。结合像MetaOrion原型眼镜这样的智能视觉设备,这类触觉系统有望大幅降低事故发生率,并为企业提供改进培训策略的数据支持。增强团队协作体验尽管协作并不是人们最先联想到的触觉应用场景,但它同样能从中受益。例如,告别枯燥的视频会议,员工们可以在虚拟会议室中传递模型,并在交接时感受到重量的变化;在虚拟白板上写字时,也能感受到笔触的压力;同事轻拍你肩膀的"触感"也会同步传来。未来,触觉手套甚至可以让员工与远方的新同事"握手",增强情感连接。在汽车等行业,多名工程师可在元宇宙中共同操作零部件,实现真正意义上的协同设计。随着机器人技术和物联网的发展,我们甚至可以想象这样一个未来:团队成员可以通过手势远程操控机械臂和手指,无需出差就能完成复杂的组装任务。推动远程与现场作业革新在远程工作中,触觉技术的应用前景尤为广阔。技术人员可佩戴触觉手套远程控制千里之外的机器人,感受管道腐蚀程度或螺丝松紧情况。荷兰军方已尝试使用触觉系统在VR中教授新兵卫星接收器的组装方法,未来甚至可用于远程建造卫星。AMILab正与WEART合作开发一套系统,允许工作人员通过TouchDIVER手套控制机械臂,减少差旅成本,并降低进入高危环境的风险。从长远来看,触觉设备与机器人技术的结合,将极大降低现场作业的成本和风险,使更多员工能够在办公室内完成原本必须亲临现场的任务。展望未来:触觉技术将成为企业XR的标配尽管目前可穿戴触觉设备尚未像VR头显那样普及,但其在企业中的影响力正在迅速上升。随着技术不断进步,触觉系统将变得更加易用、经济、多功能,覆盖更多应用场景。未来,我们可以看到越来越多企业为员工配备触觉背心、手套和臂带,以提升效率、降低风险、优化培训流程,并让协作体验更加真实自然。如果你想了解更多关于触觉技术如何赋能沉浸式办公的内容,欢迎继续关注我们后续的相关专题报道。
《Lasertag》开发者在Quest3系列上实现"无感建模",绕过Meta房间扫描流程在当前主流的混合现实设备中,Meta的Quest3和Quest3S虽然具备房间扫描与场景网格生成功能,但在实际使用中仍存在一些用户体验上的痛点。而独立开发者JulianTriveri在其开发的多人混合现实射击游戏《Lasertag》中,尝试通过深度API实现了"连续场景理解"的新方案,有效绕过了Meta现有的房间设置流程。Meta房间扫描系统的两大问题Quest3系列支持用户对房间进行3D扫描,生成可用于混合现实应用的场景网格(SceneMesh),使虚拟对象能够与真实环境中的家具、墙壁等物理结构互动。然而,这一系统存在两个主要问题:需要手动初始化扫描:整个过程可能耗时几十秒到数分钟,用户需主动完成扫描动作,显著增加了启动应用前的操作门槛。静态建模无法反映环境变化:一旦扫描完成,场景网格即固定不变。如果之后房间布局发生变化(如移动家具或有人走动),除非重新扫描,否则系统不会更新模型。这些问题限制了混合现实体验的流畅性和自然度,尤其是在动态或多用户场景中表现尤为明显。深度API的潜力挖掘:从遮挡到碰撞检测为了提升体验,《Lasertag》选择不依赖Meta官方的场景网格系统,而是直接利用Quest3的DepthAPI--该接口提供实时的第一人称深度帧,用于判断物体之间的空间关系。目前公开版本的《Lasertag》已通过DepthAPI实现激光与真实环境的即时碰撞检测,并支持动态遮挡效果。而在beta测试版本中,Triveri进一步探索了更复杂的连续建模能力。实时构建3D体积纹理,模拟"全局感知"在beta版本中,开发者将每一帧的深度信息逐步融合,在GPU上构建出一个代表用户环境的3D体积纹理(VolumeTexture)。这种方式让用户即使没有直视某个区域,只要之前看过,系统也能推测其存在并进行碰撞判断。此外,Triveri还在内部实验中尝试将这些数据转换为网格模型,借助Unity的一个开源行进立方体算法(MarchingCubes)实现近似实时的三维重建。甚至在早期版本中,他还尝试让多台设备共享各自的深度数据,形成"联网高度图"(networkedheightmap),从而实现协同建模。尽管这项功能尚未正式上线,但其思路为未来多人混合现实协作提供了重要参考。为什么Meta不采用类似方案?值得注意的是,AppleVisionPro和Pico4Ultra等设备已经实现了类似的"持续建模"机制:无需初始房间扫描,头显会在后台持续更新环境模型。它们之所以能做到这一点,得益于硬件级别的深度传感器。而Quest3/3S则依靠计算视觉技术来推断深度信息,尤其在配合红外图案辅助的情况下。这种软件层面的深度推算不仅消耗大量CPU/GPU资源,还显著影响电池续航。这也是为何许多Quest应用至今仍未启用动态遮挡功能的原因。因此,虽然《Lasertag》的做法在技术上具有前瞻性,但也意味着更高的性能与能耗代价。这正是Meta目前尚未将其纳入官方场景网格系统的主要原因。Meta也在推进自动更新场景网格今年初,Meta曾透露未来计划让场景网格具备自动更新能力,以适应环境变化。不过从其表述来看,依然会保留初始扫描作为基准,而不是完全转向实时建模。结语《Lasertag》的成功实践表明,在现有硬件条件下,通过深度API实现连续场景理解是可行的。它不仅提升了用户体验,也为未来的混合现实应用打开了更多可能性。随着硬件和算法的进步,或许我们很快就能看到更轻量、高效的"无感建模"方案走向主流。
一名开发者正在测试Meta最近发布的PassthroughCameraAPI,并开发了一款混合现实足球应用程序,能够在虚拟环境中追踪真实足球的运动轨迹。这位开发者最近在Reddit上分享了他们使用Meta新推出的CameraAPI的初步实验成果。该项目旨在通过物体识别与追踪技术,将真实的足球融入到虚拟世界中,为用户提供一种全新的足球训练体验。一段简短的演示视频展示了这款应用的工作原理:虚拟目标被投射到一面真实的墙面上,当开发者踢出真实的足球并击中这些目标时,它们会在虚拟空间中"倒塌"至地面。这个演示展示了MetaQuest3摄像头系统如何巧妙地融合物理世界和数字内容--它能够识别现实中的物体(在这个案例中是一个足球),并将它们无缝整合进扩展现实(XR)体验中。MetaPassthroughCameraAPI:拓展混合现实工具包这款应用基于Meta最新发布的PassthroughCameraAPI(PCA)构建,该API随着MetaXRCoreSDK74.0版本一同推出。PCA提供了对Quest头显前置RGB摄像头的直接访问权限,从而解锁了更高级的混合现实功能。Meta表示,这款新API设计用于提升混合现实应用的质量,支持诸如物体识别等功能--这正是Reddit开发者在其足球演示中所展示的核心能力。经过一段时间的测试后,Meta正式发布了CameraPassthroughAPI,允许开发者将其应用发布至官方HorizonStore。除了上述足球实验外,immerGallery团队也为Quest3开发了完整的3D摄像头功能。目前,PCA仅支持MetaQuest3和Quest3S设备。每个摄像头可提供最高每秒30帧、分辨率为1280×960像素的画面。然而,由于存在40到60毫秒的延迟,在追踪快速移动的物体或细节方面仍面临一定挑战。这项技术的出现标志着消费级VR/AR设备向真正意义上的混合现实迈出了重要一步。未来,我们可能会看到更多结合现实与虚拟世界的创新应用场景出现,进一步丰富用户的交互体验。这一进展不仅展示了技术的进步,也预示着混合现实在日常生活中的广泛应用前景。
Quest3和Quest3S的"透视摄像头API(PassthroughCameraAPI)"现在已可在MetaHorizonStore上发布的正式应用中使用。这项功能六周前以"实验性版本"的形式向所有开发者开放,这意味着开发者可以进行测试,并理论上可以将包含该功能的APK文件通过SideQuest等渠道分发。但在当时,还不能将其集成到提交至MetaHorizonStore的应用中。随着MetaXRCoreSDKv76的发布,这一功能现已脱离实验状态,因此可以在经过审核流程后,被用于正式上架的应用中。什么是"透视摄像头访问"?虽然像Quest3这样的头显设备本身已经通过摄像头实现了对现实世界的"透视"功能,但直到最近,只有系统软件才能直接访问这些摄像头的原始数据。第三方开发者虽然可以将透视画面作为背景显示在应用中,但实际上并不能真正访问或处理这些图像流。他们所能使用的,是系统根据摄像头信息处理后提供的高层次数据,例如手部和身体骨骼坐标、房间环境的3D网格模型以及家具边界框、有限的对象追踪能力等。这种限制使得开发者无法运行自己的计算机视觉模型,严重限制了增强体验的可能性。现在,"透视摄像头API"正式启用意味着:只要用户授权,开发者就可以访问摄像头的原始图像数据。用户如何启用该功能?与应用程序请求麦克风权限类似,用户需要手动授予应用访问头显摄像头的权限。一旦获得授权,应用即可访问前置彩色摄像头及其相关元数据,例如镜头内参(lensintrinsics)和头显姿态(headsetpose),从而支持开发者运行自定义的计算机视觉模型。可能的用途有哪些?借助这项功能,应用可以实现以下创新:扫描并追踪二维码检测桌面上的游戏棋盘,并在其上叠加虚拟角色与物体在企业引导场景中识别物理对象集成基于云端大型语言模型(LLM)的视觉AI功能开发者的想象力是唯一的限制因素--当然还要考虑硬件性能与成本。目前受限于XR2Gen2芯片组的算力,实时运行复杂模型的能力有限;或者可以选择调用云端图像分析服务,但这通常涉及额外费用。技术参数一览分辨率:每颗摄像头最高支持1280×960帧率:30FPS延迟:约40–60毫秒由于延迟较高、帧率有限,该摄像头流不适合用于追踪快速移动的物体(如自制控制器)或识别细节特征(如小字体文本)。技术细节说明从技术角度来说,实际上并没有一个专门的"MetaQuest摄像头透视API"。开发者只需在应用中请求特定于HorizonOS的HeadsetCameras权限,其余部分则利用Android已有的Camera2API实现,同时通过OpenXR接口获取头显姿态信息。这也意味着,如果Google的AndroidXR平台未来上线,开发者只需修改权限请求逻辑,就能在三星即将推出的独立式头显上复用相同代码。对于Unity引擎开发者来说,可以通过WebCamTextureAPI访问摄像头,这也是Unity中访问手机、平板或PC摄像头的标准方式。但需要注意的是,Unity的WebCamTextureAPI目前一次只能访问一颗摄像头,而不能同时访问左右双摄像头。开发者资源Meta官方已在GitHub上发布了五个适用于Unity的官方示例项目:CameraViewerCameraToWorldBrightnessEstimationMultiObjectDetectionShaderSample此外,Meta软件工程师RobertoCoviello也在GitHub上开源了QuestCameraKit,其中包含更多实用示例:ColorPicker(颜色选择器)ObjectDetection(物体识别)QRCodeTracking(二维码追踪)FrostedGlassShader(磨砂玻璃着色器)OpenAIVisionModel(OpenAI视觉模型集成)你可以在这里找到相关的开发者文档:Unity版本原生Android版本
埃森哲携手Meta探索企业元宇宙未来作为扩展现实(XR)技术的早期采用者和探索先锋,埃森哲(Accenture)在过去几年中不断尝试如何通过增强现实(AR)、虚拟现实(VR)和混合现实(MR)改善企业的运营方式。最近,该公司与科技巨头Meta合作打造了一套面向企业的元宇宙服务,成为该领域的重要实践案例。埃森哲早在2019年便启动了其"元宇宙之旅",推出了名为NthFloor的多用户虚拟校园平台。该平台旨在提升员工培训的积极性、提高知识留存率,并优化入职流程。随着NthFloor的不断发展,埃森哲内部培养了一个由超过1,300名XR技术爱好者组成的社群,他们积极推广Meta的Quest系列设备及Horizon应用生态。这些"内部倡导者"不仅为同事提供技术支持,还构建了一个社交化学习社区,推动技术交流与知识共享。基于NthFloor构建的沉浸式试点项目OneAccenturePark收获了广泛认可,连续两年荣获BrandonHall"技术卓越金奖"。该项目已拥有来自六个国家的50,000多名活跃用户,入职体验评分高达4.7/5分,并且相比传统视频培训方式,学习内容的保留率提升了33%。企业元宇宙正在回归?展望未来,埃森哲计划进一步扩展其混合现实服务组合,继续深化与Meta在元宇宙领域的合作。这一战略方向也再次被公司高层明确重申。截至目前,已有超过175,000名埃森哲员工每年使用NthFloor虚拟空间,为此公司已部署了60,000台MetaQuest设备,实现了从试点到规模化落地的关键跨越。这一进展对Meta来说恰逢其时。在经历过去几年的元宇宙热潮后,Meta正重新发力打造其Horizon元宇宙平台。今年2月,Meta宣布设立一项5,000万美元的创作者基金(CreatorFund),旨在吸引更多媒体、品牌和开发者加入其元宇宙生态。尽管这笔投入相较此前已花费的数百亿美元看似微不足道,但它标志着Meta对Horizon平台的新一轮承诺,也可能预示着其在线互动愿景的新起点。目前来看,Horizon主要面向消费者和游戏玩家,而专注于企业的解决方案如Workrooms已经关闭数年。然而,Meta持续的投资以及鼓励品牌入驻Horizon的举措,表明其在企业级XR领域仍留有余地,值得持续关注。此外,今年Meta的CreatorFund将重点转向基于智能手机的内容创作。公司强调,跨设备互操作性对于移动设备来说至关重要,这也是XR技术和服务在更大市场中实现增长的关键方向之一。Meta表示:"通过投资移动端内容,我们可以触达更多尚未拥有Quest头显的用户,并最终让整个生态系统受益。因此,作为我们针对移动和混合现实世界的5,000万美元创作者基金的一部分,我们还将推出本年度首个创作者竞赛,重点关注移动端内容。"扎克伯格:这是元宇宙最关键的年份今年早些时候,在Meta累计投入超过1,000亿美元之后,CEO马克·扎克伯格表示:"这也将是元宇宙发展的关键一年。"他进一步解释称:"Quest和Horizon的用户数量一直在稳步增长--今年,我们将看到多个长期项目的成果陆续上线,它们将极大提升元宇宙的视觉表现力和沉浸感。到今年年底,我们将更清楚地了解Horizon的发展趋势。"他还强调:"Meta正在加速打造一些真正具有开创性的事物,它们将塑造人类连接的未来。一如既往,我感谢每一位与我们共同踏上这段旅程的人。"Meta首席技术官安德鲁·博斯沃思(AndrewBosworth)也在内部邮件中表示,2025年将是意义非凡的一年:"这是我参与RealityLabs八年来最关键的一年。"谈到元宇宙和HorizonWorlds,博斯沃思坦言:"如果我们的移动端应用无法取得突破,那么我们的长期规划就难以实现。如果你感受不到这份历史赋予的责任,那你可能并没有真正关注它。"他还补充说:"这一年可能将决定这一切到底是Visionaries(远见者)的壮举,还是一次传奇般的冒险失败--我们还没有真正改变世界。"谈及Meta在XR领域投入的巨额资金,他表示:"我们正处在一个科技成就空前的时代,而我们把自己置于这个浪潮的核心。大多数人一生中可能再也难有机会参与如此宏大的项目。"结语:企业元宇宙的未来已来埃森哲与Meta的合作案例表明,元宇宙不仅是消费市场的概念,更是企业数字化转型中的重要推手。从员工培训、协作办公到客户体验重塑,XR技术正在逐步进入主流商业场景。尽管挑战依旧存在,包括成本、硬件普及度与用户接受度等,但像埃森哲这样的先行者已经证明了元宇宙在企业端的可行性与价值潜力。2025年,或许是企业元宇宙真正走向成熟的一年。
微软宣布停止HoloLens2的生产今年早些时候,微软宣布将停产HoloLens2,并由微软混合现实副总裁RobinSeiler确认了公司的立场:"我们将逐步退出硬件开发,但会继续为HoloLens2提供支持直至2027年。"在官方声明中,微软表示:"感谢所有客户、合作伙伴、MVP和开发者社区在过去八年多的时间里对我们的支持,帮助我们推动增强现实技术的发展。"微软还宣布了一个"最后购买期",以出售剩余的HoloLens2设备。这些设备将以先到先得的方式通过微软或其官方经销商销售。尽管如此,产品的保修和支持服务不会受到影响。虽然这一消息可能意味着HoloLens2的终结,但微软承诺将继续提供更新,包括安全补丁和主要功能改进,直到2027年12月31日。谷歌的AndroidXR:GoogleGlass卷土重来谷歌是否能填补这一空白?曾经引领XR领域创新的GoogleGlass团队现在可能借助AndroidXR重返企业级XR市场。在TED2025大会上,谷歌AndroidXR开发团队负责人ShahramIzadi展示了即将推出的智能眼镜操作系统。演示过程中,他展示了具备实时翻译、图像识别以及与其他Android设备无缝连接等功能的原型眼镜。谷歌于去年年底推出了名为AndroidXR的全新扩展现实(XR)操作系统。该系统基于熟悉的Android架构,不仅兼容大量现有的移动和平板应用,还支持专为AndroidXR打造的内容,解决了XR技术普及的一大障碍:用户需要多种应用程序和服务支撑,才愿意投资一款XR设备。谷歌在一份官方声明中表示:"我们正在为开发各种AndroidXR设备铺平道路,以满足个人和企业的多样化需求。"这表明企业市场已成为谷歌的重要目标之一。苹果的VisionPro:新的变数苹果公司已正式宣布年度全球开发者大会(WWDC)的时间安排。会议将于2025年6月9日至13日在ApplePark举行,预计将展示苹果在VisionPro混合现实头显上的最新进展。在CES展会上,NVIDIA曾展示VisionPro作为其AI技术栈的一部分,暗示苹果可能会在WWDC2025上发布更多面向企业的产品信息。尽管苹果尚未确认VisionPro是否将在大会上亮相,但考虑到之前的发布节奏及visionOS自2024年底以来的持续更新,预计会有相关发布。苹果很可能会推出VisionPro的新版本或功能更新,以弥补HoloLens留下的空白。此外,有迹象表明苹果也在研发自己的智能眼镜。Meta的Orion:突破性的AR智能眼镜Meta在智能眼镜领域的投入也不容忽视。最近,Ray-BanMeta智能眼镜在英国获得了重要的AI升级。然而,这款设备主要面向消费者市场。在2024年的MetaConnect大会上,Meta首席执行官马克·扎克伯格展示了备受期待的OrionAR智能眼镜原型,并称其为"世界上最先进的智能眼镜"。Orion支持神经接口交互,允许用户通过腕部设备控制眼镜操作。尽管Orion还需多年才能上市,但其技术有望反哺Ray-Ban智能眼镜及企业级MR解决方案,成为XR行业关注的焦点。下一步是什么?随着HoloLens的停产,整个XR行业迎来了巨大的变革。许多厂商正准备接过微软留下的接力棒,填补这一空白。无论是谷歌的AndroidXR、苹果的VisionPro还是Meta的Orion,未来的企业级XR市场充满了变数。谁能在这一领域脱颖而出?欢迎在评论区分享你的看法。
东京理科大学等多机构的研究团队近期公布了关于嗅觉虚拟现实(VR)游戏对老年人认知功能影响的重要研究成果。该研究由东京理科大学未来交叉科学技术研究所的中本隆道教授(当时)、文京学院大学人间学部的小林武史教授、伦敦艺术大学客座研究员NathanCohen及法政大学理工学部的山本耕介副教授共同领导。研究背景与方法研究团队邀请了30位年龄介于63至90岁之间的老年人参与实验,旨在探索通过结合视觉与嗅觉刺激的VR游戏是否能改善老年人的记忆力和注意力等认知能力。在初步实验阶段,研究人员确定了三种人类能够区分的气味组合。参与者使用特制的VR头戴设备及配套的气味生成装置(嗅觉显示器),体验了一个特别设计的VR游戏环境。在这款游戏中,虚拟空间内设有三种不同类型的云朵。当玩家接近某朵云时,相应的气味便会通过嗅觉显示器释放出来。玩家需记住首次闻到的气味,并朝含有该气味的云朵移动,再次闻味后判断其是否与记忆中的气味相符。实验结果参与者每隔六天进行一次游戏,随后接受一系列认知测试。结果显示,在进行了嗅觉VR游戏之后,"平假名旋转任务"和"单词空间记忆任务"的表现显著提高。这些任务要求玩家具备良好的视觉空间处理能力,表明嗅觉VR游戏可能有效促进相关认知和记忆功能的发展。结论与展望研究团队评论称:"我们的发现为预防老年痴呆症提供了一种新颖的方法--即利用嗅觉VR游戏。"然而,他们也强调,为了全面理解这一疗法的效果,仍需进一步研究以明确其效果的持久性、重复玩游戏的影响,以及视觉和嗅觉刺激各自的作用机制。这项研究表明,通过创新的技术手段如嗅觉VR游戏,可以有效地提升老年人的认知功能,为老龄化社会提供了新的健康管理思路。未来的研究将继续深入探讨如何优化这类技术,以更好地服务于老年人群的健康需求。
XR数字孪生比传统3D工作流程更适合职场吗?越来越多的证据表明,答案是一个响亮的"是"。多年来,传统仿真和3D软件创建的数字孪生已帮助无数企业优化生产周期、提升流程效率并降低成本。然而,XR技术带来了新的机遇。通过扩展现实(增强现实、虚拟现实和混合现实)设备和数字孪生,团队不仅能查看或旋转屏幕上的3D模型。他们可以步入虚拟环境、实验流程,并利用数据实时做出更明智的决策。那么,数字孪生是否更适合工作场所?当用增强现实、虚拟现实或混合现实技术加持这些数字孪生时,会发生什么?传统3D工作流程的挑战要回答"XR数字孪生是否比传统3D工作场所管理工具更优",我们首先需要明确传统系统的局限性。许多公司仍在使用传统软件创建产品、办公空间和环境的3D可视化,但这些解决方案存在诸多问题:数据滞后:典型场景中,设计阶段的CAD渲染或3D仿真一旦遇到现实变化,模型就会过时。需要人工更新文件,模型往往落后于现实。交互受限:屏幕上静态的3D模型虽然美观,但缺乏沉浸感。设计者和利益相关者无法真正在场景中行走、注入实时传感器数据或进行协同操作。数据孤岛:不同部门使用不同软件,导致信息割裂。如果设施数据与运营数据不同步,如何做出智能决策?被动响应:传统3D工作流通常无法预测设备故障或空间拥挤问题。缺乏实时数据只能在问题发生后被动应对。协作低效:传统工具只能分享静态信息,注释和批注分散。团队无法在共享虚拟环境中集体决策。XR数字孪生的优势与传统3D工作流相比,XR数字孪生的核心优势在于实时数据整合:实时数据集成:实时显示人员流动、设备性能或能源使用情况,减少猜测性工作。分析与预测:AI可预测系统故障或资源利用不足,甚至提供优化建议。闭环升级:数字孪生的洞察可立即指导现实调整,形成反馈循环。XR加持的突破性提升当数字孪生与XR技术结合,工作场所管理能力呈指数级提升:沉浸式协作:全球团队通过头显设备进入共享虚拟环境,实现实时协同。TotalEnergies利用RealWear头显结合MicrosoftTeams,成功开展复杂维护策略协作。革命性培训:Emirates航空通过数字孪生和沉浸学习平台,使员工在虚拟飞机环境中接受培训,减少对实体模拟设备的依赖。实时维护支持:AR叠加的实时数据和远程指导,使预测性维护成为可能,有效预防设备故障。低成本实验:结合AI的XR数字孪生允许团队在虚拟环境中测试各种场景(如高温对设备的影响),利用历史数据预测结果。成本与投资回报尽管需要投入传感器、集成咨询和硬件设备(头显价格虽降仍不菲),但XR数字孪生的投资回报显著:减少停机:预测性维护和远程支持降低紧急维修频率优化不动产:发现低效使用空间,节省数百万租赁成本加速设计周期:虚拟原型和实时反馈缩短生产周期提升协作效率:减少错误、快速决策、降低差旅成本Clorox通过XR数字孪生显著缩短审计时间,实现人均节省949美元。NASA兰利研究中心构建300+建筑的XR数字孪生后,维护成本降低且效率提升;波音公司通过VR协同设计评审,将部件缺陷率降低40%;特斯拉利用车辆实时数据构建数字孪生,工程师可在VR环境中实时讨论自动驾驶功能优化。结论传统CAD或VR仿真虽能展现未来办公室布局或设备运行场景,但无法适应实时变化,也难以实现全球团队的沉浸式协作。若想升级工作场所管理、提高生产力、激发创新并降低成本,XR数字孪生无疑是更优解。这项技术正在重塑企业运营方式,为数字化转型提供强有力支撑。
新视场声学合成(NVAS)正在获得业界的关注,特别是在增强现实和虚拟现实领域的发展中。然而,大多数现有方法存在局限性:它们推断时域的房间脉冲响应(RIR),这增加了优化的难度;专注于简单、单房间场景;仅能推断出单通道、方向无关的声学特性;并且需要输入如具有材质属性的3D几何网格。另一方面,研究表明在AR和VR中的感知合理性并不需要RIR的采样精度。诸如清晰度指数(C50)或混响时间(T60)等标准声学参数已证明能够描述RIR的相关特性,特别是对于后期混响。为了解决这些限制,芬兰阿尔托大学和Meta团队提出了一个新的任务--新视图声学参数估计方法。他们使用单个随机选择的RIR作为校准输入来建立模型对声学环境的理解,并将此任务框架为图像到图像的转换问题。通过这种方式,即使是使用VR眼镜的用户也能体验到更真实的声学效果。研究人员设计了一个模型架构,该架构能够利用简单的二维平面图形式的有限几何信息以及参考RIR作为输入,共同估计多个频带的多个空间分布声学参数。实验表明,所提出的方法显著优于统计基线,尤其适用于方向相关参数预测。此外,该方法可以在非常有限的信息下运行,在推理时只需要场景的大致轮廓和单个RIR。当致力于探索增强现实和虚拟现实技术以实现有效的娱乐、通信和远程呈现时,合理的声音表现是沉浸式体验的关键要求。研究表明,在封闭空间中使用精确的声学模型渲染虚拟声音可以提高可理解性和声音定位准确性,从而提升共存在感和联结感。例如,通过VR眼镜体验复杂多房间环境时,精准的声学模拟能够让用户体验到更加逼真的声音互动。团队基于NVAS先前的研究,介绍并提出了一种新任务--新视图声学参数估计(NVAPE)。这里,他们使用有限的几何信息来预测场景的二维声学参数,而无需精确的材质属性。同样,这种方法也使得佩戴VR眼镜的用户能够在虚拟环境中享受到更为真实的声学体验。总而言之,团队确定了一个新的任务--新视图声学参数估计。它不仅预测未见场景及任意源和发射器位置的声学参数,还用于调节混响器以产生RIR。研究人员提出的模型架构能够利用简单的二维平面图形式的有限几何信息以及参考RIR作为输入,共同估计多个频带的多个空间分布声学参数。这种创新方法不仅推动了NVAS领域的发展,也为VR眼镜提供了更加丰富的沉浸式体验。
PresenZ是一种专业级别的工具,用于将影院级CGI内容转换为支持VR中6DOF观看的格式。随着最近更新的支持PCVR头显的Immersix应用程序,你可以通过一批新发布的最新内容来体验这项技术。专为Quest设计的流媒体版本也正在开发中。我们亲身体验了这两个版本。该技术的创造者希望给像皮克斯和梦工厂这样的世界级CGI工作室提供一种简化的方式,使影院级CGI内容可以轻松地面向VR观众。让我们先从简单的部分说起。Immersix是一个播放使用PresenZ技术转换成体三维视频的CGI内容的平台,这意味着它支持舒适的沉浸式6DOF观看。该应用程序最近进行了更新,新增了两个内容:一个是免费观看、具有宇宙视觉效果的音乐视频'Weightless';另一个是需要4美元内购的"Sharkarma:GuardianoftheOceans(Part1)",这是一部"让你置身于水下生存惊悚片中心"的作品。现在让我们聊聊更复杂的一部分:这项技术背后的原理是什么?为什么它很重要?首先,体三维视频(意味着任何支持6DOF的沉浸式视频内容)本质上比普通的立体180度或360度视频更加舒适和沉浸。这是因为180度和360度视频只响应头部旋转,而不响应平移(即在空间中移动头部)。而另一方面,体三维视频允许在内容中的旋转和平移,这让它感觉上更加沉浸。其次,有些内容由于视觉细节过于丰富,在即使是高端PC上也无法实时渲染。以你最喜欢的皮克斯电影为例,它之所以看起来如此出色是因为每一帧都需要花费很长时间来渲染。因为它不是像电子游戏那样的"实时渲染",通常被称为"预渲染"。预渲染给了计算机时间去做如高度详细的光线追踪、超采样以及许多渲染通道等操作,以增强每帧的画面质量。PresenZ作为一种将CGI内容转换为可以在VR头显上查看的预渲染格式的方法存在,同时保持了体三维视频的舒适性和沉浸感。我体验了这项技术的最新迭代,确实给人留下了深刻印象,它实现了这一承诺。通过Immersix提供的体三维内容确实是真正的6DOF,并且相比同样的180度或360度视频内容,无疑更加舒适和沉浸。然而这里有个注意事项:目前Immersix中可用的内容可以说比在足够高端的PC上实时渲染的内容更好看,但并不明显优于后者。不过,这是当前可用内容的限制,而非技术本身的限制。作为一项技术演示,Immersix令人兴奋,但它真正需要的是顶级的CGI内容--就像你看到的主要工作室发行的大片CGI电影那样。我知道当前的质量水平并不是技术的限制,因为我已经看到了未发布的内容,这些内容使用PresenZ技术转换后,真的让人感觉像是踏入了一部皮克斯或梦工厂的电影。PresenZ的目标是成为一条简化途径,让主要工作室的顶级CGI内容进入VR眼镜。但是这种内容还没有完全到位。深入探讨如果你对PresenZ有印象,那么请认真回顾一下……实际上我们早在2016年就首次报道了这项技术。从那时到现在,它的历程可谓跌宕起伏。最初由一家名为Nozon的公司所有,PresenZ技术在2016年末被开发商和发行商Starbreeze收购。但在Starbreeze于2018年末濒临破产时,PresenZ作为一个独立实体分离出来。之后,PresenZ最终被专注于视频压缩的V-Nova公司接手。据PresenZ的创建者TristanSalomé介绍--他至今仍领导该项目--与V-Nova的合作解决了该技术长期以来面临的一个关键挑战:大文件大小问题。可以想象,影院级CGI会占用大量空间。再加上计算6DOF视图所需的所有额外数据……对于相对简短的内容,你很快就会遇到几十甚至几百GB的数据量。V-Nova表示自从收购PresenZ以来,公司一直在努力改进这项技术,使其对主要工作室和消费者都更加实用。正如他们所说,这项技术已经从一个"技术演示"变成了一个"真正的工具"。在工作室方面,V-Nova表示已为Pixar和DreamWorks等主要CGI工作室使用的渲染工具开发了PresenZ插件,这使得现有的CGI能够流畅地转换为体三维视频。想法是这些工作室已经在制作高质量的CGI资产和内容上投入了大量的时间和资金;如果他们有一种简单的方法将这些内容转换为体三维视频,就可以作为一个新的分发平台吸引数百万VR眼镜用户。在消费者方面,压缩方面的改进促成了Immersix应用程序的创建,使PCVR用户首次有了查看PresenZ内容的方式。但由于即使经过压缩和性能优化,Immersix仍然需要PC的强大功能来进行播放。然而,V-Nova明白在视频分发中可访问性就是一切。为此,该公司还在为Quest等独立头显构建基于云端渲染的Immersix应用版本。这个云端渲染版本已经在开发中,我有幸看到了运行在Quest3上的早期演示。我所见的一切看起来和桌面版一模一样,只不过它是通过云端渲染并通过Wi-Fi传输到我的Quest眼镜上的。当然,这要求良好的带宽和现代、优化良好的Wi-Fi设置。但它为可能数千万的Quest眼镜潜在观众敞开了大门。我们将不得不等待并观察Immersix针对PCVR眼镜(以及最终Quest眼镜)的发布是否会创造出对VR中高质量CGI内容的巨大需求。尽管PresenZ已经有至少十年的历史,但与V-Nova的合作以及对高质量空间视频重新燃起的兴趣(很大程度上受到VisionPro的推动)可能是这项技术一直等待的时刻。
一位富有创意的开发者构建了一款可穿戴的八键控制器,可能解决了虚拟现实领域中最持久的挑战之一:文本输入。对于佩戴VR眼镜的用户来说,这一创新尤其重要。MateuszCzapliński的"Clawtype"附着在用户的手腕上,将八个按键置于手指下方,分为两排,每排四个。由于仅有八个键无法处理完整的字符集,该系统使用组合键来访问额外的字母和符号。不仅仅是按键:增加鼠标控制Clawtype的功能不仅限于文本输入。该设备集成了一个陀螺仪传感器,可以将手部动作转化为光标控制,实际上充当了一个内置鼠标。Czapliński使用3D打印组件(包括键帽、手板和开关座)构建了此设备。在其核心位置,一块SparkFunProMicroRP2040开发板处理所有输入,并以标准USBHID设备的形式呈现给计算机--这意味着它就像其他任何键盘和鼠标一样显示,同时也兼容各种VR眼镜。秉承开源精神,Czapliński已在GitHub上以开源许可证发布了3D设计文件和代码。尽管他的演示视频显示确实存在学习曲线,但该设备相比传统的VR输入方法提供了真正的优势。文本输入仍然是虚拟现实中最大的未解决问题之一。目前,使用VR眼镜的用户通常要么配对一个物理蓝牙键盘,要么与漂浮在空间中的虚拟键盘作斗争。没有触觉反馈的情况下,在VR中打字感觉不自然且效率低下。尽管开发者和公司进行了多次尝试,但至今没有人创建出能够匹配传统键盘速度和准确性的大众市场输入设备。寻求更好解决方案的竞争几位主要参与者正在努力解决这个问题。MetaRealityLabs和ETHZurich为Quest3开发了"TouchInsight",该软件可以将任何表面变成虚拟键盘。在与十二名参与者的测试中,用户达到了每分钟37个单词的速度,错误率为2.9%--明显优于Quest的浮动键盘,后者只能达到大约每分钟20个单词,错误率为8%。TapSystems通过其TapXR腕带提供了另一种方法,该腕带检测手指运动以实现在任何表面上打字。据报道,熟练用户每分钟可达70个单词。该设备适用于多种VR和AR平台,包括MetaQuest、WindowsMixedReality、HoloLens和HTCVive。Meta正在探索另一条途径,利用腕带通过肌电图检测肌肉电信号并将其转换为数字命令。这项技术可能实现只需轻微移动手和手指即可进行输入,极大地提高了使用VR眼镜时的交互体验。
在没有实际键盘的情况下实现高效的文本输入,依然是XR头盔提升生产力应用的关键挑战。研究人员编制了一份详尽的现有文本输入技术目录,以系统化不同方法并分析它们的优缺点。通过免费提供这份目录,他们希望为他人开发新的和改进的文本输入技术提供一个良好的开端。马西米利亚诺·迪卢卡是英国伯明翰大学VR实验室的负责人,在心理学系和计算机科学系担任副教授。他曾在Meta工作,专注于VR中的手部输入与触觉反馈研究。他最近因对AndroidXR交互框架的开创性贡献而获得ACMSIGCHI2025奖项的认可,该成就奠定了XR操作系统基础输入方法和交互指南的基础。随着沉浸式体验变得越来越复杂,高效文本输入的挑战依然是虚拟现实(VR)和增强现实(AR)中无缝互动的重要障碍。无论是虚拟工作空间中的邮件撰写,还是元宇宙中的登录与社交,高效输入文本的能力对于扩展现实(XR)应用的可用性至关重要。为了应对这一挑战,来自伯明翰大学VR实验室的团队及哥本哈根大学、亚利桑那州立大学、马克斯普朗克智能系统研究所、西北大学和谷歌的研究人员共同开发了"XRTEXT宝库"--一个涵盖了170多种专为XR设计的文本输入技术的综合研究项目。TEXT宝库是一个结构化的文本输入技术数据库,并包含一系列筛选工具,用于选择和突出显示由学术界和工业界为XR开发的各种文本输入方法的优缺点。这些技术根据32个编码标准进行分类,包括13种交互属性如输入设备、身体部位(用于输入)、并发性及触觉反馈模式,以及14项性能指标如每分钟字数(WPM)和总错误率(TER)。总体而言,技术和属性的广度提供了对XR文本输入技术现状的全面概览。我们的研究揭示了几项关键发现。首先,文本输入性能本质上受限于输入元素的数量(无论是手指、控制器或其他字符选择器)。只有多指打字才能达到接近普通PC上键盘触摸打字的速度。图表显示,每个额外的输入元素(或手指)大约增加5WPM的速度。此外,研究表明,触觉反馈、外部表面的存在以及仅指尖可视化都是提高打字效率的有效方式。例如,在表面上打字比在空中打字更舒适且可能更高效。外部表面还能减少持续肌肉紧张,使互动更加舒适并降低大猩猩臂综合症的风险。最后,有趣的是,目前还没有任何替代方案能完全取代键盘格式,这可能是因为它仍能提供最高的输入速度,尽管学习曲线较高。我们认为,通过机器学习和AI减少多指键盘上的移动距离可能是实现比PC更快的VR打字的主要途径。XR需要自己的"滑动输入"时刻,就像智能手机上的单指滑动输入极大地提高了效率一样。在这方面,"XRTEXT宝库"的深入探讨代表了对虚拟和增强现实中文本输入理解的重要一步。通过提供一个结构化且可搜索的数据库,我们旨在为研究人员和开发者提供资源,推动更高效和用户友好的文本输入解决方案的发展,为沉浸式的未来铺平道路。正如我们在论文中所解释的那样,这项工作有潜力显著惠及XR社区:"为了支持该领域的XR研究和设计,我们将数据库及相关工具在XRTEXT宝库网站上公开。完整的论文将在下个月在日本横滨举行的著名ACMCHI会议上发表。"团队中的几位成员也是LocomotionVault的共同创建者,该项目类似地编目了VR移动技术,旨在给研究人员和设计师一个识别和改进各种方法的良好开端。
自苹果公司收购以色列科技公司PrimeSense以来,其在手势交互领域的探索从未停止。早在2015年,苹果就获得了一项利用设备投影仪实现手势操作的专利技术。实际上,从2002年至2006年期间,苹果就已经提交了多项与手势交互相关的专利申请,这表明在其visionOS手势控制成为行业标杆之前,苹果对手势交互技术的关注和投入早已开始。近日,美国专利商标局(USPTO)公布了苹果最新的专利申请信息,揭示了其正在开发的一种通过空中手势控制电视、家电等设备的创新技术。根据专利申请内容,该技术旨在为电子设备提供更高效的手势交互界面。用户可以通过简单的空中手势来触发多种操作指令,同时,同一手势在不同的模式下可以实现模式切换或调整内容输出,不同手势轨迹对应着不同的功能。这项技术不仅简化了用户的操作流程,提高了交互效率,还能够有效减少处理器和电池的能量消耗。这种空中手势技术的应用场景非常广泛,涵盖了iPhone、iPad、AppleWatch、Mac以及家用电器等多种设备,并特别针对电视使用场景进行了优化。专利中的附图2A-2E详细展示了手势响应的技术方案,其中计算机系统#200被定义为电视机实例;而图4A-4C则呈现了不同情境下相同手势的不同反应方式,图6A-6D进一步说明了不同手势类型的处理逻辑。此专利支持的手势类型包括轻敲、捏合、握拳/松开、滑动、轻弹等基础手势,同时也涵盖了手指手势和复合手势,极大地丰富了用户体验的可能性。这些进展标志着苹果在提升用户交互体验方面迈出了重要一步,预示着未来人机交互方式的新变革。
莱顿大学的研究揭示了年轻人对虚拟现实副作用的惊人适应力莱顿大学的尼娜·克鲁普利亚宁及其团队的一项新研究发现,儿童和青少年几乎不会经历常常困扰成年人的晕动症。他们的研究包括85名年龄在8至17岁之间的参与者,报告中指出像头晕和头痛这样的常见VR副作用极少出现。这一点特别值得注意,因为成年人在虚拟现实中,尤其是在涉及人工移动时(即眼睛看到的信息与内耳平衡系统提供的信息不一致时),经常遭受这些症状的影响。研究发现,年轻的参与者们完全适应了VR头戴设备,并且轻松掌握了任务要求。虽然具体使用的设备未被披露,研究人员注意到参与者们能够深入沉浸在卡通风格的虚拟环境中,自然地响应方向音频提示和其他刺激。克鲁普利亚宁认为这可能是由于孩子们具有更高的数字素养。"他们倾向于问更少的问题,并更愿意通过试错来探索",她解释说,"成长于数字媒体环境似乎培养了他们的好奇心并减少了对犯错的恐惧。"也许最重要的是,每个孩子都表现出高度的参与动机--这是考虑治疗应用时的一个关键因素。使用VR对抗创伤相关的羞耻感 尽管针对成人的VR疗法研究正在不断扩展,但我们对其对孩子影响的理解仍然有限。"在为年轻用户开发VR干预措施之前,我们首先想要了解他们对这种技术的反应方式",克鲁普利亚宁说。她的当前项目名为SHINE-VR(羞耻干预虚拟现实),旨在帮助年轻人通过自我同情训练应对与创伤相关的羞耻感。该计划提供简短但有力的体验,旨在建立自我同情技能。"在SHINE-VR中,参与者进入一个虚拟世界,在那里学习关于羞耻的知识以及如何应用自我同情",克鲁普利亚宁解释道。"他们与同样经历过人际创伤的虚拟同伴互动,讨论共同的主题和困难的情感。这有助于他们感到被理解并且不再孤单。"研究表明VR具有治疗潜力:使用者可以在佩戴头盔的情况下安全地练习具有挑战性的现实生活场景。"我们发现这些环境可以引发真实的情感反应--包括心跳加速--即使使用者理性上知道他们并没有处于真正的危险之中",克鲁普利亚宁指出。"这让人们有机会逐渐面对困难的情绪,帮助他们更容易地在现实生活中迎接这些挑战。"关于开始使用VR的适宜年龄问题 儿童开始使用VR的合适年龄仍存在争议,目前没有长期研究为我们提供明确指导。制造商指南差异很大--Meta最近将其Quest最低年龄从13岁降至10岁,而其他公司则保持较高的年龄限制。Facebook公司还为青少年(13-17岁)和"少儿"(10-12岁)提供了带有家长控制功能的专门账户。然而,我们建议家长应更多关注自己孩子的个体生理和心理成熟度,而不是制造商的指南。这些年龄推荐可能受到公司扩大用户基础的愿望影响,而非基于安全性与发展方面的扎实研究。
VR52网成立于2015年,平台提供VR头显、AR眼镜、配件外设、厂商、测评、行业资讯、游戏与应用、展会活动等。