引言

在聊手势识别前，咱们先搞清楚：Rokid 是谁？它为啥能把 AR 手势做得这么自然？

Rokid 是国内 AR（增强现实）领域的“老兵”了，从 2014 年成立就盯着一个目标——让 AR 走进日常。你可能见过它的产品：能戴在脸上的“AR 眼镜”Max Pro、能揣在兜里的“AR 主机”Station 2、适合专业场景的“Station Pro”，这些设备不是用来“炫技”的，而是想让咱们摆脱手机、手柄的束缚，直接用手“摸”虚拟东西。

而手势识别，就是 Rokid 给 AR 设备装的“最自然的遥控器”——比如调大虚拟屏幕像捏橡皮一样捏合手指，翻页像翻书一样挥手。但不同设备、不同开发需求，需要搭配不同版本的 SDK（软件开发工具包），这就像“不同型号的手机要装对应版本的 APP”。

一、基础认知：先选对版本，避免开发走弯路

Rokid 手势识别技术随 SDK 版本迭代持续优化，不同版本适配的 Unity（开发工具）、设备、功能都不一样。咱们先看一张“版本适配表”，选对版本再动手：

举个例子：如果你的电脑装的是 Unity 2023，就选 UXR 3.0；如果用的是 2021 且只需要简单手势，UXR 2.0 更稳定（参考Rokid版本文档）。

二、技术拆解：Rokid 手势识别的“三阶段秘密”

不管是 UXR 2.0 还是 3.0，手势识别的核心逻辑都是“看得到手→认得出手势→跟得上手”，但 3.0 在每个阶段都做了优化。咱们一步步拆，全程不用复杂术语。

2.1 看得到手——Rokid 的“AR 专属眼睛”

要让设备“看见”手，那肯定要在算法和摄像头这方面下足功夫。Rokid 的 3D 手势算法在这个领域取得了关键性突破。在手势识别方面，只依赖一颗普通的 RGB 摄像头，无需复杂的多摄像头或 ToF（飞行时间）传感器。大大降低了硬件成本，同时保持了高精度和稳定性。

1. 利用 AI 算法和深度学习模型，Rokid 的“AR 专属眼睛” 能实时捕捉手部的 3D 姿态信息，包括手部的 6DoF（六自由度）位置、26 个关节点的自由度（26DoF）以及 Hand Mesh（手部网格）信息。

2. 在响应速度上，该算法在移动端实现了毫秒级的响应速度，单帧检测耗时低于 10 毫秒，识别准确率达到 99%，且深度估计误差小于 5 厘米。

3. 并且该算法可以运行在多种硬件架构上，包括 CPU、GPU 和 NPU，适配高通、海思等主流平台

2.2 认得出手势——给手“画骨架”再判断

设备看清楚手后，下一步是“认出你在做什么手势”，核心是“标骨骼点→看姿势”，UXR 3.0 在分类精度上做了优化。

1. 26 个骨骼点：给手“标关键位置”

你把手张开，Rokid 会在手上“标 26 个点点”，像医生画关节标记，每个点都有用：

• 腕部（WRIST）：确定手的“根在哪”，避免手移动判错位置；

• 掌心（PALM）：判断手“面朝设备还是背对设备”——掌心朝设备就是想“直接摸”；

• 指尖（食指尖、拇指尖）：判断“捏合”“点击”的关键，UXR 3.0 的骨骼点定位精度提升了 10%，指尖位置更准。

设备怎么找这些点？用“热力图回归”——给手画“热力图”，哪个位置亮，哪个就是骨骼点，比如食指尖是“亮斑”，直接找亮斑就行。

26 个节点，分别是手腕 WRIST，掌心 PALM，4 个掌骨（METACARPAL）节点，和 5 根手指关节节点，拇指从 CMC 指骨末节依次 MCP、IP、TIP 指尖，其他从 MCP 指骨末节依次 PIP、DIP、TIP 指尖。

1. 手势分类：看“骨架姿势”下判断

有了骨骼点，设备就像“看姿势猜动作”，通过“点和点的关系”判断手势。咱们用表格总结常见手势，还标了版本优化：

比如你戴戒指捏合，UXR 3.0 能忽略戒指干扰，只要指尖距离够近就认“捏合”，不用“为了凑手势摘戒指”。

2.3 近/远场手势：实现 “距离一变，模式就换”

Rokid 将手势分为近场手势和远场手势：直接进行触碰互动的，称为近场手势；通过射线和锚点远距离操控的，是远场手势。近场手势和远场手势的切换，是通过手与互动物体的距离判定，这个值可以根据具体使用场景调节。默认设置是，手在距离互动物体 -0.02m ~ 0.04 m 范围内，是近场手势；超出则为远场。

在 UI 操作上 Rokid 通过 “近→触→压→抬” 四阶段交互反馈实现：默认时 UI 保持静止；手靠近进入 hover 状态，按钮向上抬动 “预告交互”；手指触摸时，按钮微变色、微缩放；按压到底，按钮高亮放大且触发 “Down” 音效；手抬起，按钮复原，“Up” 音效响起，完成点击。

2.4 跟得上手——快反应+低门槛

技术再厉害，手一动、虚拟东西半天才动就很糟；开发者要写几百行代码也没人用。Rokid 在“跟手”和“开发门槛”上做了很多优化，3.0 更突出。

1. 快反应：手势和虚拟动作“同步”

你手一动，虚拟东西马上动，背后是两个关键优化：

• 轻量化模型：把识别算法“压缩”——UXR 3.0 的模型比 2.0 小 30%，像大文件压成小文件，不占内存还跑得快，识别延迟从 120ms 降到 100ms（人眼几乎感觉不到）；

• 动态帧率调节：设备“看情况干活”——手不动时识别频率降为 20fps（省电量），手快速动时升为 30fps（不延迟），UXR 3.0 的帧率切换更平滑，不会卡顿。

1. 低门槛：开发者不用“从零造轮子”

Rokid 把复杂技术封装成“现成工具”，不同版本的 SDK 导入和使用略有差异，咱们分版本说：

举个最简单的例子：开发者要实现“手势点击按钮变色”，不管 2.0 还是 3.0，都只要 3 步，3.0 还更简单：

1. 拖“PointableUI”预制体到场景（2.0/3.0 都有）；

2. 在预制体里加个按钮；

3. 写几行代码（如下），3.0 还能加“置信度判断”：

using UnityEngine;using UnityEngine.EventSystems;using UnityEngine.UI;using Rokid.UXR.Module; // 需导入命名空间
public class GestureBtn : MonoBehaviour, IPointerClickHandler{    private Image btnImg;    void Start() {        btnImg = GetComponent<Image>();    }
    // 手势点击时触发    public void OnPointerClick(PointerEventData eventData) {        // UXR 3.0新增：判断手势置信度，避免误点击        float confidence = GesEventInput.Instance.GetGestureConfidence(HandType.RightHand);        if (confidence > 0.8f) {             btnImg.color = Color.green; // 置信度＞80%才变色        }    }}

三、实战：UXR 3.0 做“手势抓立方体”

3.1 全流程架构图（理解数据流向）

手势抓立方体的核心是「硬件采集→算法处理→SDK 分发→应用响应」，分版本数据流向差异如下（基于 Rokid AR Platform 架构简化）：

3.2 前置准备：UXR 3.0 环境确认

硬件环境

为了顺利接入 UXR3.0 SDK，硬件环境要求如下：

• 可进行 Unity 开发的 PC 设备：支持用于 Unity 开发的 Mac 或 Windows PC 设备。

• 空间计算设备：配备 Rokid Station Pro/Rokid Station2 设备。

• 眼镜设备：配备 Rokid Max Pro/Rokid Max/Rokid Max2 眼镜。

软件环境

作为专为 Unity 开发者打造的高级开发工具包，Rokid Unity OpenXR Plugin 要求开发者具备完整的 Unity 开发环境以及对应的 Android Build Support（包括 Android SDK、NDK 工具链和 OpenJDK）。具体版本要求如下：

• Unity 开发环境：使用 Unity 2022 LTS 版本。

• Android Build Support 环境：

• Android SDK

• NDK Tools

• OpenJDK

• 移动平台支持：Android Platform 号码应为 28 至 34。

• 操作系统要求：YodaOS 系统版本不低于 v3.30.003-20250120-800201。

详细安装步骤这里可以参考官方文档 【一键直达】来一步步进行就好啦

3.3 步骤 1：场景搭建与 UXR 3.0 专属配置

3.3.1 添加核心组件

1. 拖入交互预制体：

2. 将 RKHand 预制体拖入场景，展开 RKHand → RightHandInteractors，保留默认的 PokeInteractor（近场抓取）和 RayInteractor（远场射线），开启 **InteractorStateChange** 脚本（默认启用，支持自动远近场切换，也可后续自定义）；

3. 选中 RightHandInteractors 下的 InteractorStateChange，在 Inspector 面板设置：

4. “Near Field Threshold”：0.8m（近场触发距离，可按需调整）；

5. “Gesture Confidence Filter”：0.8（过滤置信度＜80%的手势，减少误判，UXR 3.0 新增）。

6. 创建可抓取 Cube：

7. 右键创建 3D Object → Cube，命名“GrabCube”，配置参数：

8. Transform：Position(0, 1.2, 0.8)（相机前方 0.8m，刚好触发近场）、Scale(0.2, 0.2, 0.2)；

9. 挂载组件：Box Collider（取消“Is Trigger”，确保交互碰撞）、RayInteractable（Rokid 专属交互组件，允许手势识别）。

10. 开启骨骼可视化（调试必备）：选中 RKHand → RightHandRender，勾选 SkeletonLine 组件，设置“Line Color”为红色，运行后可直观看到手部 26 个骨骼点（对应 SkeletonIndexFlag 枚举，如掌心 PALM、食指尖 INDEX_FINGER_TIP）。

3.4 步骤 2：核心脚本开发

创建脚本 UXR3_GrabLogic，挂载到“GrabCube”上。核心逻辑：通过 GesEventInput 获取手势类型+置信度，结合骨骼点位置实现“捏合抓取→跟随→握拳释放”，融入 UXR 3.0 置信度过滤，避免误触发。

using Rokid.UXR.Module;using UnityEngine;
public class UXR3_GrabLogic : MonoBehaviour{    [Header("UXR 3.0 抓取配置")]    public HandType targetHand = HandType.RightHand; // 目标手（默认右手）    public float followSensitivity = 0.1f; // 跟随灵敏度（值越小越平缓）    public float minConfidence = 0.8f; // 最小手势置信度（低于则不响应）
    private bool isGrabbed = false;    private Vector3 lastPalmPos; // 上一帧掌心位置（用于计算跟随位移）    private MeshRenderer cubeRenderer; // 立方体渲染器（用于视觉反馈）
    void Start()    {        // 初始化组件引用        cubeRenderer = GetComponent<MeshRenderer>();        cubeRenderer.material.color = Color.white; // 默认颜色
        // 初始化掌心位置（获取掌心骨骼点，对应文档 SkeletonIndexFlag.PALM）        if (GesEventInput.Instance.IsHandDataValid(targetHand))        {            lastPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;        }    }
    void Update()    {        // 1. 校验手部数据有效性（UXR 3.0 新增接口，避免空引用）        if (!GesEventInput.Instance.IsHandDataValid(targetHand))        {            if (isGrabbed) ReleaseCube(); // 手部丢失时自动释放            return;        }
        // 2. 获取当前手势类型与置信度（UXR 3.0 核心接口）        GestureType currentGes = GesEventInput.Instance.GetGestureType(targetHand);        float currentConf = GesEventInput.Instance.GetGestureConfidence(targetHand);
        // 3. 手势判断：置信度达标才执行逻辑        if (currentConf < minConfidence) return;
        // 抓取：捏合手势（GestureType.Pinch）        if (currentGes == GestureType.Pinch && !isGrabbed)        {            GrabCube();        }        // 释放：握拳手势（GestureType.Grip）        else if (currentGes == GestureType.Grip && isGrabbed)        {            ReleaseCube();        }
        // 4. 抓取状态下：跟随掌心移动        if (isGrabbed)        {            FollowPalm();            // 调试：绘制掌心到食指尖的连线（直观查看骨骼点位置）            DrawSkeletonDebugLine();        }    }
    /// <summary>    /// 抓取立方体：改变颜色+标记状态    /// </summary>    private void GrabCube()    {        isGrabbed = true;        cubeRenderer.material.color = Color.red;        Debug.Log($"抓取成功！手势置信度：{GesEventInput.Instance.GetGestureConfidence(targetHand):F2}");        // 更新初始掌心位置（避免抓取瞬间位移过大）        lastPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;    }
    /// <summary>    /// 释放立方体：恢复颜色+重置状态    /// </summary>    private void ReleaseCube()    {        isGrabbed = false;        cubeRenderer.material.color = Color.white;        Debug.Log("释放立方体");    }
    /// <summary>    /// 跟随掌心移动：基于掌心骨骼点位置计算位移    /// </summary>    private void FollowPalm()    {        Vector3 currentPalmPos = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand).position;        // 计算位移=当前掌心位置 - 上一帧位置，乘以灵敏度        Vector3 moveDelta = (currentPalmPos - lastPalmPos) * followSensitivity;        // 驱动物体移动        transform.position += moveDelta;        // 更新上一帧位置        lastPalmPos = currentPalmPos;    }
    /// <summary>    /// 调试：绘制掌心到食指尖的骨骼连线（红色）    /// </summary>    private void DrawSkeletonDebugLine()    {        Pose palmPose = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.PALM, targetHand);        Pose indexTipPose = GesEventInput.Instance.GetSkeletonPose(SkeletonIndexFlag.INDEX_FINGER_TIP, targetHand);        Debug.DrawLine(palmPose.position, indexTipPose.position, Color.red);    }}

3.5 步骤 3：远近场控制

方案 1：保留默认自动切换（适合新手）

无需额外代码，InteractorStateChange 脚本会自动根据距离切换：

• 手靠近 Cube（＜0.8m）：启用 PokeInteractor（近场抓取，Cube 变红跟随）；

• 手远离 Cube（＞0.8m）：启用 RayInteractor（远场射线，可点击 Cube 触发颜色变化）。

方案 2：自定义强制近场（适合特定场景）

若只需近场抓取，无需远场，可通过代码禁用远场组件：

在 UXR3_GrabLogic 的 Start() 中添加：

// 找到右手的 RayInteractor（远场）并禁用var rayInteractor = GameObject.Find("RKHand/RightHandInteractors")?.GetComponent<RayInteractor>();if (rayInteractor != null) rayInteractor.enabled = false;

3.6 步骤 4：运行测试与验证

1. 设备连接：用 Type-C 线连接 Station Pro 与电脑，Unity 中选择“Build And Run”，安装 APK 到设备；

2. 功能验证：

3. 骨骼可视化：戴眼镜后，右手伸出，可看到红色骨骼点连线；

4. 抓取：右手捏合（置信度＞80%），Cube 变红并跟随掌心移动；

5. 释放：右手握拳，Cube 变白并停止跟随；

6. 远近场切换（方案 1）：手远离 Cube 到 1m 外，射线自动激活，点击 Cube 可触发颜色变化。

四、版本避坑指南：新手常遇问题

4.1 问题排查总流程图（先定位再解决）

4.2 高频问题明细

4.3 开发者论坛提问

如果以上方案都没有解决你的问题，你还可以前往 Rokid 官方论坛发帖提问，邀请论坛里的各路技术大神共同探讨，助力问题解决。

• 访问https://forum.rokid.com/index；
  

• 选择「技术求助」分类，标题格式：「【UXR X.0】+ 问题现象」（如「【UXR 3.0】Cube 不跟随手部」）；

• 内容需包含：Unity 版本、SDK 版本、设备型号、报错日志（从 Android Studio Logcat 导出）。

五、总结

拆解完技术后，你是不是发现 Rokid 手势识别的 “核心秘密” 其实很简单？Rokid 早已将复杂的底层技术 “化繁为简”，而剩下的无限可能，就全靠你的创意去延伸 —— 比如用手势轻松操控虚拟台灯，或是通过手势趣味玩转 AR 积木，让 AR 真正融入你的日常生活。现在就用 Rokid，去开发属于你的创意项目吧！