触觉图形显示终端:让盲人享受“读图时代”

新华社 2019-02-01 19:18 30682

新华社北京2月1日电(记者郭颖 孙琪)虽然盲人能够通过盲文学习和理解文本,但是帮助他们理解视觉信息的工具非常有限。中国科研人员为盲人研发的一款计算机显示器,有望让他们也能充分享受“读图时代”。

清华大学未来实验室里,摆放着一台“大幅面触觉图形显示终端”原型机,整套设备由电脑和一个特殊的显示屏组成。在这个显示屏上,7200个触点组成凹凸点阵,计算机通过控制点阵,将传统图像转化为触觉图形,而盲人用户可以通过触摸来读取图像信息。

清华大学研制的“大幅面触觉图形显示终端”原型机。

系统内部的自锁机械结构可以锁定凸起的图案以便阅读,同时可以通过更新点阵显示一系列图片。另外这套系统具有引导装置,声音导航和语音交互功能,方便盲人用户准确理解图像信息。

据清华大学未来实验室主任徐迎庆介绍,团队已将这个原型机申请专利,有望在不久的将来通过和企业合作实现批量生产, 为更多盲人朋友带来便利。

这一触觉显示器的研发凝结了徐迎庆团队多年的研究和付出。2009年,徐迎庆从事“文化遗产数字化”研究时发现,在博物馆里,盲人只能通过语音介绍了解展品。

“如果能有设备将展品样子用‘可触摸’的方式展示出来,他们会有更多感性认识。”徐迎庆长期从事计算机视觉和交互体验研究,从那时起他开始关注触觉图像设计。

通过走访,徐迎庆发现,盲人的学习生活离不开图像信息,比如“学音乐要和乐谱打交道,学医要理解人体解剖图像”。

“随着科技的发展,互联网的普及,图片、视频等视觉信息日益丰富,如果没有设备帮助盲人阅读图像信息,这会让他们遭遇更多信息障碍,离数字世界越来越远。”徐迎庆说。

开发触觉图像显示系统的关键在于如何让计算机控制的点阵触摸图形符合盲人图像认知规律并被他们理解。为此,团队开始进行大规模的盲人用户体验调研。

清华大学博士生龚江涛为了理解盲人眼中的图像世界,进行了大量触觉认知实验,总共进行了超过500小时的用户访谈。

“有些图像普通人一看就能理解,而他们却很难通过触觉图像理解。比如,他们很难理解透视,因此当我们想要呈现三维物体时,可以选择一个或多个截面来表示。 此外,图像用对称的方式呈现会更容易被识别。”龚江涛说。

清华大学博士生龚江涛在实验室和盲人用户进行触觉认知实验。

龚江涛和团队成员选取了242个常见物体的图片制作成触觉图片展现在模拟器上,让盲人一次次地去触摸,并通过交流了解什么样的图形他们才能认知。

在得到大量反馈后,团队使用机器学习的方式系统分析了可能导致触觉图像识别困难的22个特征,最终形成了触觉图片的设计指导原则,在人工智能技术的帮助下,能够生成更多触觉图像。

据徐迎庆介绍,设备研发的成功离不开多学科的交叉研究,项目集合了来自设计学、计算机科学、心理学、医学等多个学科的研究人员。

“比如,我们运用功能性磁共振成像(fMRI)技术分析盲人视觉区域,以便深入了解他们的认知机理。”徐迎庆说。

除了研制设备,徐迎庆的团队也正和百度、阿里巴巴等企业进行联合开发,通过连接互联网,推动更多针对盲人用户的无障碍应用的发展,例如盲人电子书籍,盲人搜索和网上购物。

来自北京联合大学特殊教育学院的杨光通过这个显示器,在网上购物平台上从六个形状不同的水杯中挑选了自己最心仪的一个,他非常开心。

“以前在网上只能通过读屏软件听商品的描述文字,经常需要求助身边的人才能找到自己需要的商品,但现在通过触摸图像就可以独立购物,这个功能对我们非常有用。”杨光说。

中国残联副主席吕世明说,中国有越来越多像徐迎庆这样的团队投入研发残疾人需要的信息无障碍的辅助产品,让残疾人也能享受科技带来的便利。

“我相信,信息化智能化的人文社会,将为无障碍环境创造前所未有的美好愿景。”吕世明说。(图片、视频均由清华大学提供)

评论 0

  • 还没有添加任何评论,快去APP中抢沙发吧!

我要评论

去APP中参与热议吧