研究人员基于人工智能的语音治疗软件获得250万美元的NIH资助

锡拉丘兹大学的三名研究人员在国立卫生研究院(National Institutes of Health)最近提供的 250 万美元赠款的支持下，正在努力完善一种临床上直观的自动化系统，该系统可以改善语音障碍的治疗，同时减轻全球语言临床医生短缺的影响。

该项目“针对残留语音障碍的强化语音运动链治疗和人工智能集成”资助了五年。通信科学与障碍副教授乔纳森·普雷斯顿 (Jonathan Preston)是首席研究员。Preston 是Speech Motor Chaining的发明者，这是一种针对语音障碍患者的治疗方法。联合首席研究员是电气工程和计算机科学助理教授Asif Salekin，他的专长是创建可解释和公平的以人为中心的人工智能系统，以及Nina Benway，她是通信科学和障碍/语音语言专业的应届毕业生病理学博士课程。

他们的系统使用基于证据的Speech Motor Chaining 软件，一个广泛的语音库和人工智能来“思考”和“听到”语言临床医生的方式。

该项目侧重于为患有语音障碍的儿童安排最有效的言语运动链课程，并研究人工智能是否可以增强言语运动链——Benway 在她的论文中探讨的一个主题。这项工作是 Salekin 在工程与计算机科学学院的无所不在和智能感知实验室与文理学院Preston的语音制作实验室的合作。

临床需要

在言语治疗中，学习者通常会与临床医生一对一地会面以练习语音并获得反馈。如果人工智能版本的 Speech Motor Chaining (“ChainingAI”) 准确地复制了临床医生的判断，它可以帮助学习者在临床医生会议之间自行获得高质量的练习。这可以帮助他们达到最能帮助克服语言障碍的练习强度。

该软件旨在补充而非替代言语临床医生的工作。“我们知道言语治疗有效，但学习者是否获得了最能支持言语学习的服务强度是一个更大的问题，”本威说。“这个项目着眼于人工智能辅助言语治疗是否可以通过在与人类临床医生会谈之间的家庭练习来提高服务强度。语音临床医生仍然负责，提供监督、批判性评估和培训软件，判断声音是否正确;该软件只是临床医生主导治疗的整体弧线中的一个工具。”

170,000 种声音

一个包含 170,000 个正确和错误发音的“r”声音的库被用来训练系统。录制的声音由 400 多名 10 岁以上的儿童制作，由锡拉丘兹大学、蒙特克莱尔大学和纽约大学的研究人员收集，并存档在语音制作实验室。

Benway 编写了 ChainingAI 正在申请专利的语音分析和机器学习操作代码，将音频从语音转换为可识别的数字模式。该系统被教导预测哪些模式代表“正确”或“不正确”的语音。可以根据个人的语音模式定制预测。

在语音练习期间，该代码与 Preston 的 Speech Motor Chaining 网站实时协作，以感知、分类和解释语音音频中的模式，以“听到”声音是否正确。该软件提供音频反馈(宣布“正确”或“不完全”)，提供舌位提醒和舌形动画以加强正确发音，然后根据孩子是否准备好增加单词来选择下一个练习单词困难。

早期承诺

据研究人员称，该系统比之前开发的用于检测语音错误的系统显示出更大的潜力。

Preston 说，直到现在，自动化系统还不够准确，无法提供很大的临床价值。这项研究克服了阻碍先前努力的问题：它的示例残留语音障碍音频数据集更大;它更准确地识别不正确的声音;和临床试验正在评估治疗效果。

“还没有一个临床治疗系统明确使用人工智能机器学习来为患有残余语音障碍的学习者识别正确和扭曲的“r”声音，”普雷斯顿说。“到目前为止收集的数据表明，与人类临床医生在相同情况下所说的话相比，该系统表现良好，并且学习者在使用 ChainingAI 后正在改善语音。”

到目前为止，只是'R'

该实验目前的重点是“r”音，这是一种持续到青春期和成年期的最常见的语音错误，而且只针对美式英语。最终，研究人员希望将软件功能扩展到“s”和“z”发音、不同的英语方言和其他语言。

研究人员在整个计划中都考虑了人工智能的伦理方面。“我们已确保将道德监督纳入该系统，以确保软件所做评估的公平性，”Salekin 说。“在学习过程中，该模型被教导根据客户的年龄和性别进行调整，以确保无论这些因素如何，它都能公平地执行。” 未来的改进将针对种族和民族进行调整。

该团队还在评估合适的治疗候选人，以及不同的治疗访问时间安排(例如新兵训练营体验)是否可以帮助学习者比长期间歇性课程更快地进步。

最终，研究人员希望该软件提供有效、易于访问且强度足够的声音练习课程，以使 ChainingAI 能够定期补充临床医生的现场练习时间。一旦扩展到包括“s”和“z”的声音，该系统将解决 90% 的残留语音障碍，并可能使受这些障碍影响的约 600 万人中的数千人受益。