(相关资料图)

不久前，脸书的Reality Labs(FRL)发布了一项关于手部跟踪的新研究，将帮助AR/VR用户在虚拟现实世界中实现无真实键盘的全虚拟输入。

在虚拟现实世界中实现无实物的盲打字，对R&D人员来说无疑是一个巨大的挑战。没有物理键盘的触感和力反馈，用户的打字准确度会相对下降。为了解决这个问题，研究人员开始进行复杂的机器训练。机器训练可以简单概括为八大流程：确定机器学习目标、获取数据并评估其是否符合训练测试标准、清洗数据并建模、导入训练数据和训练模型、诊断并调整模型、导入验证数据并验证模型并分析错误、融合模型(后端)、使用原始新数据进行测试。

从机器训练的过程中，不难看出数据对机器训练的重要性。为了成功开展虚拟世界中无实物盲打字的研究，脸书FRL需要收集大量关于人类打字习惯性手势的数据。为了更准确地获取这些数据，FRL采用了高精度的手势跟踪系统，该系统由OptiTrack运动捕捉相机、定制的运动捕捉手套和Motive运动捕捉软件组成。

在数据采集过程中，需要将OptiTrack运动捕捉相机安装在控制台上方，研究人员应在头上佩戴VR头部显示器，手上戴有标记点的运动捕捉手套，然后坐在平板控制台前。打字时，研究人员可以从VR头显上看到自己的手和虚拟键盘，并进行输入。此时，动作捕捉相机会高精度捕捉研究人员打字时的手部动作，并将这些动作捕捉数据传输给计算机。研究人员可以在后期根据自己的需要对数据进行人工过滤和清理。

脸书的研究人员说：“通过语言模型的训练，当人们的手势不明确时，机器可以预测他们想要输入什么。使用这种新方法，打字员在没有键盘输入的情况下，可以在任何平面上平均每分钟键入73个单词，达到了与物理键盘输入相同的速度和准确性，未校正错误率仅为2.4%。

当机器学习了大量的输入手势，经过足够的训练，能够满足普通用户的日常打字需求时，机器的输入精度不仅会大大提高，而且佩戴的头显还可以通过VR头显外的摄像头捕捉用户的手势，从而有效预测用户要输入的字符。触摸输入可以在任何平面上实现，不再需要真正的键盘作为输入载体。

虽然这项基于OptiTrack手部跟踪的虚拟现实输入的研究还在进行中，但随着时间的推移，机器训练的程度不断加深，VR世界中的输入将更加人性化、高效化、精准化。相信在不久的将来，当我们戴上VR头戴式耳机，进入虚拟世界，就能在没有任何物理载体的情况下自由操作系统，高效输入文字，进行日常工作和娱乐活动。