TsingLoo's Blog

最近Unity XRTK 终于加入了对手势追踪的支持，这里记录回顾一下相关的组件和类

Setup

为了能够正常使用手势追踪，需要XR相关的包升级。这里的 Editor 版本为 2021.3.20f1。

Upgrade packages

如果在包管理器中看不到升级的按钮，那么可以通过左上角“➕” -> “Add package by name“，分别输入：

com.unity.xr.hands，com.unity.xr.interaction.toolkit，com.unity.xr.management 来完成升级。

注意：这些包可能对Editor版本有一定要求，具体可以查看对应说明：
XR Interaction Toolkit 2.3.1

XR Plugin Management 4.3.3

XR Hands 1.1.0

Config XR Plug-in Management

Edit -> Project Settings -> XR Plug-in Managerment 在对应平台下勾选 OpenXR

-> OpenXR 进入子菜单OpenXR，添加将使用的设备的预设，并勾选相关特性

然后导入一些示例场景和预制体：

例如 XRTK 下的： Starter Assets, XR Device Simulator, Hands Interaction Demo

与 XR Hands 下的：HandVisualizer

在Project窗口中搜索 Complete XR Origin Hands Set Up，并将此预制体放入场景中，即可以运行场景查看效果。手和控制器的切换追随设备，并能实时体现在游戏中。 某些版本的XR组件下可能出现切换时Editor暂停，可以尝试更新组件。

Access Hand Data

Refer to：Access hand data

有时候我们希望除了一些回调外，能获得手部更详实的位姿数据， 以实现网络同步等等更多的功能。

我们可以订阅 XRHandSubsystem，并获取数据，例如：

void Start()
{
    XRHandSubsystem m_Subsystem = 
        XRGeneralSettings.Instance?
            .Manager?
            .activeLoader?
            .GetLoadedSubsystem<XRHandSubsystem>();

    if (m_Subsystem != null)
        m_Subsystem.updatedHands += OnHandUpdate;
}

void OnHandUpdate(XRHandSubsystem subsystem,
                  XRHandSubsystem.UpdateSuccessFlags updateSuccessFlags,
                  XRHandSubsystem.UpdateType updateType)
    {
        switch (updateType)
        {
            case XRHandSubsystem.UpdateType.Dynamic:
                // Update game logic that uses hand data
                break;
            case XRHandSubsystem.UpdateType.BeforeRender:
                for (var i = XRHandJointID.BeginMarker.ToIndex();
                         i < XRHandJointID.EndMarker.ToIndex();
                         i++)
                {
                    var trackingData = subsystem.rightHand .GetJoint(XRHandJointIDUtility.FromIndex(i));

                    if (trackingData.TryGetPose(out Pose pose))
                    {
                        // displayTransform is some GameObject's Transform component
                        Debug.Log($"[{nameof(XRHand)}]Joint{i} : {nameof(Position)} {pose.position} | {nameof(Rotate)} 				                        {pose.rotation}");
                    }
                }
                break;
        }
    }

General settings container used to house the instance of the active settings as well as the manager instance used to load the loaders with.

XR Loader abstract class used as a base class for specific provider implementations. Providers should implement subclasses of this to provide specific initialization and management implementations that make sense for their supported scenarios and needs.

此时可以看到，Joint点的数据已被正常获得并打印。

HandVisualizer

HandVisulizer 类控制着手势的渲染，将上述我们获得的Joints的空间位置与旋转翻译成SkinnedMeshRenderer的变化，渲染逻辑可见其OnUpdateHands()方法中，大致通过更新Joint的位置带动蒙皮的变换。

var originTransform = xrOrigin.Origin.transform;
var originPose = new Pose(originTransform.position, originTransform.rotation);

var wristPose = Pose.identity;
UpdateJoint(debugDrawJoints, velocityType, originPose, hand.GetJoint(XRHandJointID.Wrist), ref wristPose);
UpdateJoint(debugDrawJoints, velocityType, originPose, hand.GetJoint(XRHandJointID.Palm), ref wristPose, false);

for (int fingerIndex = (int)XRHandFingerID.Thumb;
    fingerIndex <= (int)XRHandFingerID.Little;
    ++fingerIndex)
{
    var parentPose = wristPose;
    var fingerId = (XRHandFingerID)fingerIndex;

    int jointIndexBack = fingerId.GetBackJointID().ToIndex();
    for (int jointIndex = fingerId.GetFrontJointID().ToIndex();
        jointIndex <= jointIndexBack;
        ++jointIndex)
    {
        if (m_JointXforms[jointIndex] != null)
            UpdateJoint(debugDrawJoints, velocityType, originPose, hand.GetJoint(XRHandJointIDUtility.FromIndex(jointIndex)), 								ref parentPose);
    }
}

Duplicate Hands

复制手部的运动其实也就是复制其骨骼的Transform