苹果 Vision Pro 新专利：可通过手势 ID 检测不同用户

　　近日，美国专利局公布了苹果公司的一项专利申请，该专利申请涉及基于手部特征验证用户身份的技术。

　　苹果指出，可能是多个家庭成员都想使用 Apple Vision Pro，系统必须识别不同的手势以控制 visionOS。在另一个示例中，苹果描述了一个工作场所场景，其中多个人戴着头显协作处理项目，要么只能查看项目（例如草稿），要么有权根据 Vision Pro 在办公室或仅在单个项目上注册不同用户的手进行编辑。

　　苹果在其专利背景中指出，在 Apple Vision Pro 中，一个人的物理运动或其表现形式的子集会被追踪，作为回应，在 XR 环境中模拟的一个或多个虚拟对象的一个或多个特征以符合现实属性的方式进行调整。某些 XR 环境允许多个用户与虚拟对象交互或在 XR 环境中相互交互。例如，用户可以使用手势与 XR 环境的组件进行交互。但是，需要的是一种改进的技术来管理执行手势的用户身份的确定。

　　确认手势身份

　　苹果的发明涵盖了捕获周围环境的传感器数据，可用于提取手部特征。在一些实施例中，2D 图像帧可用于提取手部特征，其可用于手部追踪。根据一个或多个实施例，可以训练网络以读取传感器数据（例如 2D 图像帧），并生成手部特征，如边界框、手部关键点、手部中心和手部特性。网络可以被训练为基于单个 2D 图像帧为手部特征提供 3D 数据。例如，关键点、边界框和/或手部中心可以以空间 3D 坐标的形式提供。

　　在一些实施例中，手部特征可用于预测环境中的特定手部是否属于应被追踪的特定用户。 例如，可以追踪捕获传感器数据的设备的用户，而应忽略场景中的其他手。然后，可以将要追踪的手的手部特征用于手部追踪技术。

　　苹果专利图 10 以框图形式显示了用于确认手势身份的示例性系统；图 1 示出了用于管理场景中活动用户身份的系统设置。

　　苹果专利图 2 显示了注册用户手部的技术流程图；图 5 显示了用于基于手部特征确定用户授权的系统设置；图 8 显示了从图像数据中提取手部特征的技术流程图。

　　更具体到图 5，我们看到的是多个用户参与的多用户通信会话的表示视图 #500。多用户通信会话包括虚拟对象 #510，它是多用户通信会话的多个用户可见的演示草稿。如图所示，用户 Emily Smith #504 的右手正在虚拟对象上执行双指滑动手势 #514。同样，John Doe #508 的右手也在虚拟对象上执行双指滑动手势 #518。就本示例而言，双指滑动手势可能与删除或以其他方式操作虚拟对象相关联。

　　苹果专利图 5 还包括授权列表 #520。例如，授权列表可以存储为授权存储区。在一些实施例中，授权列表可以是身份验证模块和/或追踪模块管理的用户列表的一部分。

　　如上所述，授权列表包括与多用户通信会话中的对象相关联的授权信息。如示例授权列表所示，演示文稿（例如，虚拟对象 #510）可以由 John Doe 查看，但不能编辑。同时，用户 Emily Smith 被授权编辑演示文稿。

　　此外，Anon 1 配置文件可能没有授权。在一些实施例中，匿名配置文件可以与无授权或有限授权相关联。因此，在一些实施例中，演示文稿草案可以对与 Anon 1 相关联的用户进行混淆。例如，草稿演示虚拟对象可能对未经授权的用户（例如与 Anon 1 配置文件关联的用户）完全不可见。因此，如上所述，与 Emily Smith #504 的右手关联的手势 #514 可能会导致虚拟对象被操作，而与 John Doe 的右手 #508 相关联的手势 #518 可能会被检测到，确定为未经授权的编辑任务，并被忽略。

　　在一些实施例中，可以生成和/或传输与 John Doe 未经授权的尝试操作相关的日志条目或通知。因此，这些技术允许电子设备确认执行特定手势的手的身份，以防止未经授权的用户在电子设备的视野内劫持设备，或者以其它方式无意中导致设备基于该手势执行动作。