#基于VR环境下的手指识别键盘输入# 基于移动设备的虚拟键盘设计的调研

由于我们小组要进行的是VR设备方面的键盘设计，所以先对市面或者科研领域上已有的虚拟键盘进行了调研，在阅读相关论文以后，发现了一种基于移动设备的，在手掌上进行虚拟键盘输入的科研成果。以下是我们小组对其论文进行的详细了解和翻译：

一、背景介绍

智能手表和智能眼镜等智能可穿戴设备正在推动移动计算领域的发展。它们移动性和舒适性的要求使更小的显示尺寸、更小的输入区域和更短的电池寿命等必要因素。与智能手机和平板电脑等手持设备相比，这些可穿戴设备可以更快地获取信息，也可以让用户不必手持设备。

二、限制

然而，可穿戴设备的形式因素限制了其输入功能。

爱普生Moverio智能眼镜使用外部的、手持的触摸板输入文本，需要用户进行初始定位并且在使用虚拟键盘前要拿着触摸板。

谷歌眼镜只支持通过声音进行文本输入，这不适用于公共场合，也不适用于会议演讲等社交场合。虽然谷歌玻璃在右侧有一个触摸条，它支持四个触摸手势（点击、后退/前进、向下），但不支持文本输入。

三、论文实现特点

我们阅读的这篇虚拟键盘输入技术实现了一种叫PalmType的技术，是用手掌作为交互式键盘的一种智能可穿戴式交互技术，虽然当前在论文中提到，它只适用于谷歌眼镜，但是文章中提到的相关技术却可以被我们所借鉴和使用。

palmtype利用的是用户先天不用视觉确认就可以准确定位到手掌和手指上的特定区域的能力，并且可以通过可穿戴式显示器给用户以视觉反馈。

通过利用在手腕上佩戴的传感器和可穿戴式显示器，palmtype可以让用户不需要用任何输入设备并且不用看着手就可以打字。

如图所示，手腕佩戴式的传感器可以用来检测手指的位置和点击，那个虚拟键盘可以通过智能眼镜高亮显示选择按键。这种视觉反馈使用户不必记住键盘布局，并能够自然地输入而不必低头看他们的手。

这在VR技术中，是非常有用的一点，因为玩家在进行VR游戏操作的时候，佩戴头部设备，所以不能直接看到现实中的事物。

四、核心技术：运动跟踪技术

论文中的目标是，在不受传感器产生的噪音影响下评价交互的性能，因此他们开发了使用高精度的Vicon三维运动跟踪系统跟踪反射标记来实时定位用户触摸事件的palmtype键盘。三个标记被放置在参与者的非惯用手的平面上，首先对系统进行3点校准，以便找到他们的非优势手的平面，然后用2套28个点对应两个键盘的所有按键布局。

论文作者记录了28个键的从指尖到手掌的精确位置和垂直距离。用一个三毫米的垂直距离阈值来检测触摸事件，而且用户可以在触摸状态下灵活的调整手指位置。当用户举起的手指超过了阈值的时候，对应的键就会被打出来。对于触摸板键盘，作者使用了谷歌Galaxy Nexus手机来追踪触摸事件，因为Vicon不能在触摸板条件下追踪快速它。用Vicon捕捉到的PalmType触摸事件和用Nexus手机捕捉到的触摸板事件被处理后通过WebSocket发送到Google眼镜里展示出来。

五、实现测试结果

实验者采用一个3*2元素的设计，用到两个独立变量：输入法（触摸板，矩形QWERTY布局，优化QWERTY布局），和输入的任务（短语和单词）。输入法和输入任务的顺序是平衡的。

在输入任务中有两个阶段：短语输入和单词重复。前者模拟矩形文字输入工作，后者研究的是每一种输入方法的可学习性和专家输入速度。主要的衡量参数是输入速度（WPM每分钟字数），不纠正的错误率和纠正的错误率。

参加者在开始实际试验之前，练习每种输入方法。参加者通过刷位于谷歌眼镜右侧的触摸条来开始试验。当试验停止时，参加者再刷一次，停止计时，然后等待下一个短语或单词的出现。参加者要求戴上面具遮住自己的双手，但不要遮住眼前的景色。

根据对这些图像进行的具体分析，我们可以发现，这种在手掌上进行的虚拟键盘技术是比较优秀的。

六、总结：

这篇文章给我们的启示如下：

（1）实现VR的虚拟键盘的可行性是有据可依的，我们可以从这些已有的技术中找到借鉴和学习的地方

（2）虚拟键盘的形式可以不局限与划分在桌面平面上（我们之前考虑的一直是这样），也可以在手掌等人比较熟悉的环境，更值得一提的是，使用了手掌之后，不需要划分特定的区域，但可能需要更精确的外设设备。

（3）根据多篇论文的评估发现，改进以后的qwerty键盘的精度很高，但仍然存在更好的排列方式等待我们去测试。也许九键键盘是一个不错的选择。

（4）传感器的设备可能比较难以获取，我们可以采用摄像机来替代，对手指位置进行定位。