无障碍环境建设是保障残障人士等弱势群体平等充分参与社会生活的一项重要工作,近年来,我国已陆续出台一系列政策来改善残障群体的生活条件。听障人士作为我国最主要的残障群体,占了残疾人总数的1/4,帮助听障群体解决沟通交流问题是打破社交障碍、促进社会包容的重要一步。
SoundSense功能模块结构图
为破解听障人士的沟通障碍,由汪丽和祁乐老师带领的上海外国语大学SoundSense项目团队联合了来自海内外各所高校的优秀学子,在耳鼻喉科专家张青教授以及脑科学专家钟桂生博士的专业指导之下,立足于人工智能技术,开发了一款具有无障碍双向转译功能的智能可穿戴设备——双向转录手表套装。该设备不仅能够帮助听障群体主动向外输出信息,还能辅助听障群体接收声音背后的隐含信息,获得了上海市聋协副主席的高度赞扬。
SoundSense品牌logo图
该项目借助先进的传感器技术、深度学习、自然语言处理、和安全数据传输技术,通过智能硬件捕捉手势和环境声音,把移动设备作为桥梁将数据传输至云服务器进行复杂的数据处理,最终实现准确接收环境中的语音信息,并将对应语音信息转录为文本;对语音文本的情感分析;对手部动作和姿态加速度的精确捕捉;以及手语到文本或语音的实时转换等功能。
双向转录手表套装展示
该团队依托上海外国语大学“上海市脑机协同信息行为重点实验室”,获得了研究所需的物理空间、仪器设备等支持;从各高校手语社团及校园残障辅助中心出发,深入了解、切身体验听障人士的沟通交流方式;走进企业,与上海玮美基因科技有限公司建立密切联系,获得了生物类技术支持和产品测试资源。
与此同时,该团队计划于2024年底之前注册成立上海声感科技有限公司,与上海聋哑人协会、残疾人协会、聋哑人学校达成初步合作,借助该设备辅助中国标准手语的普及和推广。
SoundSense辅助戒设计展示