“神奇”翻译手套让手语发声 手套装上可记录手势动作的传感器

24.05.2017  10:31

这款手套能将手语翻译成文字实时显示在手机屏幕上。 广报记者王维宣 摄

大洋网讯  将手语翻译成语音,一群大学生想让听障人士“用手说话”。他们研发了一款神奇手套,只要把手语动作做到位,手套就能感应并“”出聋哑人内心的想法。

不少新闻节目会有手语窗口同步翻译新闻内容,让听力障碍人士也能及时获取新闻资讯。普罗大众已对这个小细节习以为常,但这群大学生却留了个心眼——手语翻译只能纯人工操作吗?有没有可能通过技术手段,让听障人士“想说就说”,普通人毫不费劲就能听懂?

广东技术师范学院的一群“90后”大学生,组成友声翻译手套团队,多次走入听障群体了解调研,向中国工程院院士和指导老师请教。经过几番讨论,团队设计出一款神奇手套,装置可以记录手势动作的传感器,从而翻译成语音进行播报。组队仅一年,产品雏形已获得第二届中国“互联网+”大学生创新创业大赛银奖和广州市“天青杯”项目初创组二等奖。

国外也有不少类似尝试。团队负责人李钊华表示,乌克兰大学生在2012年设计过类似的翻译手套方案,但该方案只能识别手部的弯曲程度,无法识别手部旋转、倾斜等复杂的空间角度。“我们可以尝试采用更高维度的传感方案,在算法上融入多种智能控制的方法。”李钊华信心满满,要在日常生活中找到技术更好的应用点。

调研:听障人士提供500个日常用语

手语翻译手套,顾名思义,得识别足够的词汇量才能流畅表达。对于一个正常人来说,根据教育部、国家语委发布的中国语言生活状况报告,高频词语数量稳定在1万余条。对于听障人士而言,究竟有多少日常高频用语呢?

李钊华的团队首先要做的工作,是着手设计调研方案,了解听障人士的日常需求。当准备好所有前期材料,真正走进这个群体时,队员们被眼前的一幕震惊了。“上千张A4纸放在桌子上,我们与听障人士一对一写字、沟通,一天下来,写得手都软了。”李钊华说,把所有纸张搜集上来后进行高频统计,敲定手语日常用语大概有500多个左右。

其实,手语的高频词汇远远超过这个数,对于初创团队而言,这是一种刚起步时期的折中方案。“我们省略了一些连接词,先解决日常所需的用语,如吃饭、喝水、睡觉等。

未来:准备做“指环式”手语翻译手套

今年5月,在由天河区人民政府、共青团广州市委员会主办的广州市“天青杯”暨天英汇青年科技创新创业大赛上,友声翻译手套团队带着“神奇手套”亮相。只见工作人员带上特制手套比划手语,上下左右平移翻转,此时,手套上的传感器将肢体动作第一时间进行分析,将其转换成语音,在手机端通过APP播放,“欢迎,你,我,开心”。最终,该团队获得了初创组二等奖。

记者试戴了这个翻译手套,发现手语的动作需要做到位,感应器才能识别出具体含义。另外,词语是一个个从扩音器中蹦出来的,尚未能连成一个完整的句子。李钊华说,他们的产品还在研发中,下一步准备做“指环式”手语翻译手套,穿戴起来会方便,识别度也更灵敏。同时,他们还会联系聋人学校的手语老师,以提高使用者的手语规范程度,缩短产品学习期。

(文/广报记者何瑞琪 实习生罗芷璇   图/广报记者王维宣)