苹果 AR 眼镜新专利：可通过眼动追踪技术帮助用户启动应用

　　近日，美国专利商标局公布了苹果公司的一项专利申请，涉及检测用户眼睛注视方向的系统、方法和设备。该专利的重点设备被描述为“AR 眼镜”或“XR 眼镜”，包括一个透明显示器，用于查看物理环境，并通过视网膜投影技术提供显示器来查看其他内容，该技术将图形图像投射到人的视网膜视图内或之上。

　　苹果在其专利背景中指出，现有的眼动追踪技术可以分析从用户眼睛反射并通过图像传感器捕获的闪光。一些头戴式系统可能包括使用近红外（nIR）照明器和标准多像素互补金属氧化物半导体（CMOS）摄像头对每只眼睛进行眼动追踪。nIR 照明器和 CMOS 摄像头的组合可以对每只眼睛进行准确和高帧率（例如，大于每秒 15 帧）的追踪。

　　然而，这种典型的 nIR+CMOS 配置具有基准功耗，随着帧速率的降低，该基准功耗不能很好地扩展，并且在非常低功耗的应用中无法使 CMOS 摄像头和 nIR LED 始终保持开启状态。因此，苹果可能希望提供一种有效提供眼动追踪系统的手段，该系统不需要在整个可能的注视空间内进行连续追踪，以便为头戴式系统评估眼球特征（例如，注视方向、眼睛方向、识别眼睛虹膜等）节省功耗。

　　用于注视对准的视网膜反射追踪

　　苹果发明涵盖了检测用户的眼睛注视方向的设备、系统和方法，该方向大致朝向目标区域（例如，热区/角落）。

　　确定眼睛是否注视目标区域（例如，热区/角落）是基于检测眼睛的反射光是否具有某些特性，例如，指示红眼型反射的光谱特性，该反射大致对齐于目标区域。

　　照明器和/或检测器可以与从眼睛到目标区域的近似方向进行光学对准，例如，通过将照明器/检测器放置在显示器/镜头的目标区域内和/或后面，或在镜头的目标区域中使用光波导。

　　探测器可以是 nIR 收发器，对窄同轴角的光谱反射敏感。探测器可以使用低功耗硬件（例如，与透镜配对的光电二极管），当高功率眼动追踪硬件（例如 CMOS）关闭时，这些硬件可以处于活动状态。例如，用户可能会扫射热角以触发操作，例如，启动使用完整眼动追踪的 XR 体验、提供对通知的响应等。如果注视满足标准，例如注视持续超过阈值时间，则可以启动预期的动作。

　　一般而言，本专利中所述主题的一个创新方面可以体现在以下方法中：在具有处理器和显示器的电子设备上，通过使用照明器将光线射向眼睛产生反射；从传感器接收传感器数据，其中传感器的感测方向和从眼睛到目标区域的方向大致对齐， 根据传感器数据确定反射的反射特性，根据反射特性检测眼睛的注视方向是否近似朝向目标区域，并基于检测注视方向近似朝向目标区域而启动动作。

　　在某些方面，苹果指出，根据注视方向是否满足标准来启动操作。在某些方面，该操作提供用户对通知的响应。在某些方面，该操作包括启动 XR 体验。

　　苹果专利图 2A 展示了 AR/XR 眼镜，其中包括图像传感器和投影仪；图 2B 示出了透明基板的区域，还举例说明了八个定义的“热角区”，本文中描述的过程可用于热点检测区域（例如，显示器 FOV #230 周围的区域）。

　　示例区域包括颞上（ST）区 #231、颞上（S）区 #232、鼻上（SN）区 #233、颞区 #234、鼻区 #235、颞下区 #236、鼻下区 #237 和鼻下区 #238。

　　苹果专利图 2C 示出了在 AR 眼镜的一个区域进行热角检测的示例。具体地，图 2C 展示了用户在设备透镜 #215 的 ST 区 #231 的目标区域 #262 的眼睛注视位置，如热区区域 #260 所示。

　　在示例性实施方案中，热角可以使用分布在设备框架 #212 边缘周围的超声波传感器、光敏检测器或电眼成像传感器来实现。该子系统可使用的眼球姿势和手势可以通过定点、眼球移动或其组合来定义。通过这种方式，AR 眼镜中的传感器（例如，探测器 #220）能够提供眼睛注视速度和注视角度（例如，角度θ）的估计。

　　苹果专利图 3B 展示了热角眼动追踪系统环境 300B 的示例。热角眼动追踪系统使用光源 #320（如近红外照明器，可产生发射角为 #322 的红外光），以及光传感器 #330（例如，光电二极管等低功率传感器）。

　　苹果专利 4B 展示了一个利用透明基板的热角眼动追踪系统示例，例如光波导#410，其中包括一个集成传感器 #420，能够测量来自人眼底的同轴反射。在某些实施方案中，传感器可以是覆盖多个区域的单个传感器。此外，或者作为替代方案，可以为每个区域配备单独的传感器（例如，传感器 #420）。

　　苹果专利图 5A-5C 说明了通过镜头 #502 检测眼睛注视方向的用户体验示例。例如，图 5A-5C 示出了用户注视或靠近设备的显示屏，并根据其注视特定区域（例如，注视热角）启动用户界面上的应用。图 5A 示出了用户在特定区域寻找以启动时钟应用的过程。在图 5C 中，可以看到用户可以使用眼睛注视技术打开的一系列应用程序。

　　最后，苹果指出，每个透镜都可以堆叠，其中包括用于处方透镜的偏置（+/−）、用于容纳或嵌入多个红外光源和透明导体的波导等。