科技有狠活|“失语者”可用意念发声 AI+脑机接口再迎技术突破

封面区块链 该文章已上链 >

封面新闻 2023-08-29 17:12 104924

封面新闻记者 边雪 见习记者 车家竹

“当你想到肌萎缩侧索硬化(以下简称ALS)时,你可能首先会想到手臂和腿部的影响,”贝内特(Pat Bennett)在通过电子邮件进行的描述中写道。“但对于我来说,这个病症始于言语困难,我说不出话来。”

现年68岁的贝内特曾是一名人力资源总监,曾经是马术运动员,曾有每天慢跑的运动习惯。但在2012年,她被诊断出患有ALS,这是一种进行性神经退行性疾病,会攻击控制运动的神经元,导致身体虚弱并最终瘫痪,首先表现在身体的外肢。

但对于贝内特来说,ALS并不典型,因为疾病最先影响的是她的脑干。虽然贝内特仍可以四处走动,自己穿衣服,用手指打字,但她不能再用嘴唇、舌头、喉部和下颚的肌肉来清楚地表达声音,而这又恰巧是语音的“基石”。

8月28日,《自然》两篇背靠背研究展示了脑机接口的强大功能:让通过“AI+脑机接口”成功实现交流的贝内特,不再是“失语者”。对于说话有困难的人来说,借助脑机接口把“钥匙”,可将患者大脑活动转化为屏幕上的文字,从而使无法说话的人能够进行交流,这意味着他们可以打开沟通的大门,与周围或更广阔的世界保持联系,甚至可以实现继续工作实现自我价值。

贝内特(Pat Bennett)。

瘫痪患者如何重获语言交流能力?

在研究中,来自斯坦福大学的Francis R. Willett团队,给由于肌萎缩侧索硬化症导致言语不清的患者贝内特,在大脑体感运动皮层植入了一个阵列电极,用于收集单个神经元活动,所有的信息会通过神经网络进行解码,并且研究会搭配一个语言模型共同用于从神经元活动中预测发声。

这些传感器是皮层内脑机接口(以下简称BCI)的组成部分,结合最先进的解码软件,它们可以将伴随语音尝试的大脑活动翻译成屏幕上的单词。植入贝内特大脑皮层的传感器呈现出微小硅电极的方形阵列,每个阵列包含64个电极,排列成8×8的网格,彼此之间的距离约为信用卡厚度的一半,电极穿透大脑皮层的深度大致等于两个堆叠的四分之一。

这些设备将信号从贝内特大脑中几个与语音相关的区域传输到最先进的软件,该软件解码她的大脑活动并将其转换为计算机屏幕上显示的文本。

植入贝内特大脑皮层(大脑最外层)的传感器。

手术后大约一个月,斯坦福大学的一组科学家开始每周两次进行研究会议,以训练解释她演讲的软件。四个月后,贝内特想要说出的话语以每分钟62个单词的速度在计算机屏幕上转换为单词,是之前BCI辅助通信记录的三倍多。

人工智能算法接收并解码来自贝内特大脑的电子信息,最终通过机器训练集,区分与她口语中的每一个音节所激发的相关不同大脑活动。它将贝内特尝试说出的音节序列输入到所谓的语言模型中,其实这本质上是一个复杂的自动更正系统,将音节流转换为它们所代表的单词序列。

为了教算法识别哪些大脑活动模式与哪些音节相关联,贝内特进行了大约25次训练,每次持续约四个小时,在此期间,她试图重复从大型数据集中随机选择的句子,组成大量的数据集,而该数据集由人与人之间的对话样本组成。

当她试图背诵每个句子时,贝内特的大脑活动由解码器翻译成音节流,然后由自动更正系统组装成单词,显示在原文下方的屏幕上,屏幕上会出现一个新句子。贝内特每次训练重复260到480个句子,在不断熟悉了贝内特在尝试对话期间的大脑活动后,整个系统也在不断改进。

贝内特在实验当中。

研究结果表明,对于50个单词的词汇表,该脑机接口设备的工作速度比同一团队开发的早期设备快3.4倍,且错误率被降低到9.1%。在12.5万个单词的词汇量中,该脑机接口的错误率上升到23.8%。对此,Willett表示,“大约每四个单词中就有三个被正确破译。”虽然这远非完美,但与先前的技术水平相比迈出了一大步。

该论文作者之一、外科医生Jaimie Henderson(亨德森)博士表示,实验已经证明,贝内特可以通过记录大脑表面非常小的区域的活动来解码预期的语音。

外科医生Jaimie Henderson(杰米·亨德森)医学博士。

在另一项研究中,加州大学旧金山分校的神经外科医生Edward Chang和他的同事们治疗了一位名为Ann的47岁女性,后者在18年前脑干中风后失去了说话的能力。

与Willett团队的方法不同,Chang的团队在患者大脑皮层表面放置了一个跟纸一样薄的矩形结构,其中包含253个电极。这项技术被称为皮质电图(ECoG),被认为对患者的伤害较小,且可以同时记录数千个神经元的综合活动。

在实验患者Ann尝试用1024个单词说出249个句子的过程中,研究小组对AI算法进行了训练,以识别Ann的大脑活动模式。最终,该脑机接口设备的结果是每分钟产出78个单词,错误率的中位数为25.5%。

此外,Chang和他的团队还创建了定制算法,将Ann的大脑信号转换为合成声音和模仿面部表情的动画。Ann在研究结束后的反馈会议上也告诉研究人员:“听到与自己相似的声音,让我非常激动。”

参与脑机接口实验的患者贝内特(Pat Bennett)。

技术革命浪潮下

脑机接口如何帮助人类?

“就生命科学而言,我们通常将人工智能技术作为一种工具,用于生命规律的探索、疾病的辅助诊断等。从广义上来说,脑机接口本身就属于人工智能的范畴,是其中一个新兴的分支,只不过脑机接口主要侧重于对大脑认知(思维)的解读。传统人工智能发展的这些信号处理和模式识别等功能,都可以应用于脑机接口。”

8月29日,国家优秀青年基金获得者、四川认知科学学会人工智能分会主任委员、电子科技大学生命科学与技术学院教授徐鹏告诉封面新闻记者,从临床等应用方面来说,把脑控和控脑结合起来,形成一个闭环的系统,更加能够符合临床等方面的需求。

徐鹏指出,当前的脑机接口发展的主要方向,一是利用脑机接口的脑控功能,也就是解码功能,对病人大脑的状态、疾病损伤程度进行有效监控,然后结合外界的比如神经反馈、声光电磁等调控手段,对大脑的状态进行干预调节。“目前,国际上已经出现了多种脑机接口系统,应用于儿童多动症、孤独症、脑瘫、癫痫、帕金森、脑中风康复等疾病的治疗康复中。”

“介入式脑机接口在医疗领域应用前景广阔。”南开大学教授段峰在接受封面新闻记者采访时表示,一方面,可以辅助脑卒中、渐冻症这类行动不便的患者通过大脑运动皮层的脑电信号控制外围设备,提升生活质量;一方面,还可能通过实时监测携带者的情绪信号,及时缓释储存于传感器支架上的药物,帮助抑郁症、躁郁症等精神疾病患者控制不定时发作的冲动情绪。

“我们在今年5月完成了全球首例将半侵入式脑机接口设备植入恒河猴进行打乒乓游戏的实验。”在2023年世界人工智能大会“脑机智能与数字生命”主题论坛上,脑虎科技联合创始人兼CEO彭雷表示,通过信息解码,脑机接口设备可以早于恒河猴动作本身,提前获取它将如何操作手柄,并且在拔掉手柄控制线后实现“脑控”游戏,“其中,解码准确性上,预测轨迹和真实轨迹相关性0.85以上,而延迟性则控制在30ms以内。”

数据显示,侵入式脑机接口产业的三大技术路线主要包括硅基硬质电极系统,血管电极系统和柔性电极系统,“我们与马斯克所主导的Neuralink脑机接口设备采用了同一种技术路线即柔性电极,而柔性电极则一定需要满足高通量,低创伤和长期在体这3个特点。”

此外,彭雷告诉封面新闻记者,2023年上半年,这款脑机接口设备还在临床上完成3项植入手术,手术过程都非常顺利,实现了单神经元Spike信号记录、汉语言解码与合成,以及患者术中语言区实时定位等功能,并能指导外科医生精准切除脑区病灶,保留患者的重要脑功能。

脑机接口需求广泛

数十万亿市场空间引发全球竞跑

在新一轮科技革命和产业变革重构全球创新版图的大背景下,以脑科学、机器人、人工智能等为代表的一批前瞻性、战略性领域已经成为国家重点关注和布局的技术突破口。而脑机接口作为一种变革性的人机交互技术,其中既有不依赖外周神经和肌肉系统即可从大脑直接向外部设备或机器输出指令的脑机接口,也包括绕过外周神经和肌肉系统从外部设备或机器直接向大脑输入电、磁、声和光等刺激或神经反馈的脑机接口。

麦肯锡的研究报告显示,预计脑机接口相关市场规模在2030-2040年期间可达700亿-2000亿美元。中国信通院发布的《脑机接口总体愿景与关键技术研究报告》也曾预测,我国神经重塑、神经替代、神经调控脑机接口技术将拥有数十万亿规模的市场空间。

近5年,中国的专利申请数量共279件,占全部国家/地区专利申请数量的52.7%,从专利数量排名分析,天津大学位列第一。脑机海河实验室副主任倪广健在接受采访时直言:“根据全球专利检索分析数据库最新报告,目前脑机交互领域的研究高度集中在美国和中国。尤其是天津大学和加州大学旧金山分校,在研发规模(表现为专利数量)和技术影响力(表现为专利被引次数)上都遥遥领先于其他研发机构。”

随着脑机接口技术的发展,其不仅在医学领域具有潜在的应用,而且在非医学领域,如教育、金融、娱乐、智能家居等方面也具有应用前景。天桥脑科学研究院(TCCI)应用神经技术前沿实验室主任Gerwin Schalk教授也在不久前宣布,再投10亿元支持AI脑科学,包括设立MindX实验室,建设AI+睡眠梦境、AI+抗衰老等系列前沿实验室,每家启动经费5000万人民币,并将持续投资。

评论 15

  • 剑阁县公安局驻杨村镇柏梓村第一 2024-01-23 发表于四川

  • 大头大头下雨不愁 2024-01-10 发表于四川

  • 说个正事 2023-10-10 发表于四川

    厉害👍🏻

查看更多

去APP中参与热议吧