破译手势在对话中的意义

编者按：在人与人的交谈中，除了语言上的你来我往，我们还会有意无意地用到我们的双手，做出各种手势。行为科学家对手势之于对话的意义感到好奇，而Kinect for Windows传感器则让这项研究变得容易。台湾清华大学的研究者和微软亚洲研究院合作，最终得出了有趣的实验结果。

文章译自：Kinect for Windows helps decode the role of hand gestures during conversations

我们都知道除了语言外，人类还有很多其他的交流方式——例如生气的一瞥或是勉强地点头。但除了这些明显的肢体语言，我们在交流中还频繁地使用我们的双手。对话中的手势虽然无处不在，但分析它仍然很难。我们很难得知，这些伴随着谈话的自发的手部动作是否、以及如何塑造沟通的过程和结果。行为科学家想了解这些非语言交际行为的作用。基于这个情况，技术开发者也同样渴望建立一个帮助人们更为顺畅地交流、理解信息的工具。

为了破解和他人说话时发言者双手动作的潜在含义，研究人员需要以高效且经济的方式追踪分析手部的动作路径。台湾清华大学的王浩全教授和他的团队意识到他们可以通过使用Kinect for Windows传感器去捕捉记录面对面交流过程中的手势和语音，从而解决这个问题。

“我们之所以想用Kinect，是因为它是市面上最流行和实用的运动传感器。这种普及度可以增加我们研究方法的潜在影响力。”王教授解释道。“其他研究人员能够比较容易地沿用我们的研究方法，或是重复我们的研究。Kinect的使用也让大型行为学研究成为可能，只要用户使用Kinect，我们就能远程收集他的行为数据。此外Kinect的软件开发工具包也易于使用。”

基于Kinect for Windows的诸多优势，王教授与微软亚洲研究院合作，使用Kinect for Windows在对话中捕捉观察对象的手部动作。“我知道微软研究院在应用Kinect进行一些先进的研究，因此我们和微软的研究人员进行了愉快的合作，来为学术界和社会提供有趣的研究成果。”

在接下来的合作研究中，团队在两位对话者中间背靠背地放置了两个Kinect传感器来记录谈话过程。传感器同时捕捉到两个对话者的语言和手部活动，从而提供一份交流双方的言语信息和手部运动轨迹的带时间标记的记录。

试验中Kinect for Windows传感器位置示意图

为了展现研究方法的有效性，研究者将面对面交谈、视频聊天和音频聊天三种情况下的手部动作的数量和相似度做了对比。两个参与者在面对面交谈和视频聊天中可以看到彼此，但在音频聊天中他们看不到彼此。

研究人员由此发现了一些意想不到的结果。“第一，也许和直觉相悖，实际上人们在音频、面对面和视频聊天中的手势是一样多的。这表明人们之所以做出手势不是为了别人，而是为了自己，尽管对方看不到自己，但仍然会做出手势，”王教授说。

图表显示在语音聊天时，人们做出手势的几率几乎和面对面及视频交流时一样多。这显示了手势更多是为了自己，而不是为了让对方更好地理解。

研究者还考察了对话的参与者对整个交流的理解与使用手势的数量之间的关系。出人意料的是，他们发现参与者的理解水平和他的对话者使用的手势数量之间并无相关性。相反，研究者发现，参与者对对话的理解程度与其自身的手势数量相关。这从另一个角度证明，手部动作并不是为了产生和传递信息，而是反映了说话人在内容理解上的自我强化和自我认同。

图表显示手势和做手势者自己对谈话的理解程度的关系，反映出手势的实际作用是自我强化。

无论从理论到实际，Kinect传感器都有着广泛的潜在应用（例如，当人们在交流时，我们是否可以用Skype来捕捉他们的手势动作）。此外，研究人员终于可以突破以往的速度和规模限制来设计他们的实验了。

“在进行跨学科的研究时，Kinect操作简单、有效，因而降低了研究成本——不需要把时间浪费在一些技术问题上，而能专注解决研究问题。”国立清华大学王教授谈道。

今年4月在加拿大多伦多举办了CHI 2014——主题为“计算系统中的人为因素”的ACM SIGCHI会议（the ACM SIGCHI Conference on Human Factors in Computing Systems）。会上发表了王教授与微软亚洲研究院这一合作项目的论文全文。

“与微软亚洲研究院合作十分愉快。在感兴趣的课题上我得到了很大的支持和自由。这使协作变得真正独特并具有价值，”王教授说，“我希望与微软的研究人员们有更为密切的合作，同时扩大当前的工作。能加强对一些非常规交流的理解，如跨文化、跨语言交流、师生授课等。因为基于语言的沟通在这些情况下经常效果不好，非语言部分也许会让交流变得更加有效。对过程的更深层的理解可以让技术设计更好地支持这些情况。”

____________________________________________________________________________________