基于 PYNQ 的聋哑人无障碍交流系统

基于 PYNQ 的聋哑人无障碍交流系统


by 任晨曦、李强&张敏婧

当前,聋哑人这一群体与外界存在沟通障碍,手语表达方式是他们互相交流 的一种重要方式。但是,当聋哑人与正常人之间交流时,不仅需要正常人已经有 足够的手语基础,而且还需要通过文字等手段辅助描述。这为聋哑人与外界沟通 造成了不便。特别是在疫情期间,由于人人戴口罩,聋哑人与别人的交流变得更 加困难,若聋哑人感染了新冠肺炎,他们在隔离条件下无人陪同,由于语言表达 存在障碍,很难成功向医生叙述自己的病情。

为此,本设计开发了一套便携式聋哑人交流系统,将尽可能多的手语信息通 过计算机进行处理后,对聋哑人手语进行实时翻译,同时将正常人语音信息识别 为文本信息表达出来,为聋哑人与正常人之间提供一种便捷的交流方案。本系统 以 PYNQ 为主控芯片,搭载摄像头,显示屏等外围设备,同时采用经典图像处 理算法对采集图像进行预处理,深度学习算法对手语表达进行模型训练,实现了 对采集手势图像的实时处理以及手势预测功能。并能通过交互设备进行文字,语 音与图像信息的表达。经测试,本系统具有较好的识别准确率。

参赛队员与作品合影

全体成员合影

特写照片

特写照片

特写照片

作品全貌

2020年9月27日 11:05
浏览量:0
点赞
首页    Catalog    2020研电赛    基于 PYNQ 的聋哑人无障碍交流系统