重庆大学杨进团队:神奇手套让聋哑人发声,手语识别率达98.63%

日期:2021年01月08日 来源:柔性电子材料与器件 作者: 【打印】 【关闭】

  手语是聋哑人与外界沟通最重要也是最直接的方式。据世界聋人联合会(WFD)公布的数据,全世界目前大约有7000万聋哑人。然而,由于手语的普及程度较低,大多数人并不具备手语基础,因此无法准确理解手语含义,进而导致聋哑人在日常交流中面临诸多障碍。而现有的手语翻译系统在实际应用中又存在灵敏度低、响应时间长、可穿戴性差、工艺复杂、成本高昂等问题。

  近日,重庆大学光电工程学院杨进教授团队研制了一款柔性无线可穿戴手势翻译系统,该系统由螺旋芯鞘型可拉伸传感阵列和无线电路模块组成;螺旋芯鞘型可拉伸传感阵列最大拉伸应变可达100%,同时具备高灵敏度快速响应时间以及良好的机械化学稳定性,可以舒适的贴附在皮肤表面实现关节运动信息和表情变化实时、精确的捕捉;结合无线电路模块机器学习算法,该系统可以将手语手势直接转换为语音进行输出,系统的识别准确率可达98.63%,平均识别时间< 1s,同时系统的总重量仅为25.8 g,大大提高了手语翻译系统的可穿戴性及实用性

      

 图1穿戴式手势到语音翻译系统的示意图。

图2可拉伸传感单元的工作机制和特性

图3实时手语组件获取。

图4演示了可穿戴手势到语音的翻译。

  该研究工作得到了国家自然科学基金等项目资助。目前该项工作已分别被ScienceNature ElectronicsMatter作为“研究亮点”进行报道。同时得到了包括MIT Technology ReviewScience DailyTechXplore等在内的多家国外媒体报道。

  论文链接

  http://nature.com/articles/s41928-020-0428-6

分享到: