“他们不能通过点选滑鼠来说人造眼应该看什么边线,而是要让它自己决定看这儿。”人造眼的研制闻所未闻于兴奋点本身,兴奋点背后的感官IDEF更为重要
➤项目组正在推进感官与感官、与四肢协同方面的探索,包括研制电脑的脊髓晶片。“脊髓晶片就是把电脑的多种感应器结合起来,就像人的脊髓一样做感官、感官、触觉等多种重要信息的结合,同时集成CPU、微CPU、脊髓网络CPU,为电脑提供脊髓以及部份脊髓系统的机能。”
《瞭望》新闻周刊本报记者几天前看见了这样那双眼睛,与之接吻,内心震撼,久久难忘。它是那双酷似可见光的机械设备眼,每只双眼都是两个摄像头。在中国科学院上海微系统与重要信息控制技术研究所人造感官系统生物医学,本报记者一眼望去,看见两个逼真的机械设备屁股,走进发现嵌在其中的双眼才是宝贝。
当你目不转睛地盯着它,它也一动不动与你接吻;转过身不再看它时,它的视野会跟随你终端;如果几个人一起出现,它一会儿看一看你,一会儿看一看他……本报记者精采于电脑的双眼能做到这么灵动了!但对着它拍摄一会后竟有点惧怕,它太像人了,搭配上机械设备屁股的面无表情,好像在高深莫测地思考着什么。这种奇妙感受仅用文本不足以描述,雷西县看一看本文配发的音频。
“人类获取外部重要信息中的70%以内来自双眼。兴奋点不只是两个器官,更是脊髓系统唯一两个伸到体表的部份。”生物医学主任李嘉茂说本报记者,项目组研制的人造眼不只有一对兴奋点,还包含与感官有关的类脑部份,“他们的研究有两个主要方面,一是演示可见光的体育运动方式,二是演示脊髓系统的感官IDEF。”
李嘉茂如是说,从20多年前用两台笨重的电脑控制人造眼体育运动,到现在两个指甲盖大小的晶片就能同时实现大部份机能,项目组的人造眼有关控制技术已在地铁弓网检测、晶片锻造自动化等领域应用,在人造可见光感官领域同时实现了国际一流。“更令人期待的是促进人偶电脑迭代,人造眼未来很可能成为人偶电脑的两个标准模块。”
细心观察会发现,受限于控制技术,现在走入生活的电脑大多还没有双眼。比如说送餐电脑、捡拾电脑、扫地电脑,它们或者是根据设置好的路线体育运动,或者利用感应器感知距、收集一些影像重要信息。偶尔有些电脑有了双眼,也是不能动的固定双目,或者是没有实际机能的装饰道具。
科学家模仿可见光锻造机械设备眼,是因为可见光拥有胜过其他所有动物双眼的综合性能。“人的左右四只双眼相互配合能形成三维感官,更重要的是可见光通过体育运动能看得远、看得广、看得清、跟得上。”李嘉茂说,像可见光一样体育运动,是项目组研制人造眼的特点,主要演示了人的双眼协同体育运动、中脑REM散射、滑动型和弹跳型兴奋点体育运动。
双眼协同体育运动很好理解,就是人一只双眼看两个球体时,另一只双眼也只能对着这个球体看。李嘉茂如是说,四只双眼协同体育运动才能聚焦相同最终目标,估算出最终目标距,相互配合形成三维感官,这是人造眼体育运动的基础。否则四只双眼各动各的,不仅无法估算距,还会造成输入重要信息混乱。
本报记者在生物医学看见,与手机录下二维平面的音频不同,人造眼收集的是三维三维镜头。研究人员用色调图来展现其三维感官效果,蓝色代表距更远、红色代表距更近。随着本报记者走进人造眼,能看见色调图块越来越红,效果类似激光雷达测距。
中脑REM散射相等于感官防抖,是指人颈部体育运动时,兴奋点会自动向相反方向终端,所以人在奔跑弹跳时视野依旧稳定。“人造眼是用陀螺仪和加速度感应器来监测颈部的体育运动,有很强的防震效果。”李嘉茂展现了一段人造眼与普通相机的对比音频,后者在冲击波情况下视野更为稳定,最终目标球体始终保持在镜头中。
相应地,人造眼具备精确导航功能定位的能力。携带人造眼和普通功能定位装置记录下的行动轨迹显示,后者明显准确很多,在三维空间中的冲击波更小。
此外,可见光还有两个原始但强大的机能——弹跳型兴奋点体育运动,即人的双眼能快速转换视野,想看这儿就看这儿,甚至一秒钟能转动超过800度。李嘉茂如是说,为了同时实现这一机能,人造眼配备了非常强的电机驱动力量。
目前,项目组研制的人造眼在30帧/秒以内的收集条件下,能保持70纳秒内的同步精度,在500毫秒内完成兴奋点注视点转换,视标追踪速度达到30度/秒以内,在5Hz、±7°冲击波条件下双眼视野度以内。同时实现了整体机能接近可见光,部份性能胜过可见光。
“他们不能通过点选滑鼠来说人造眼应该看什么边线,而是要让它自己决定看这儿。”李嘉茂说,人造眼的研制闻所未闻于兴奋点本身,兴奋点背后的感官IDEF更为重要。
李嘉茂如是说,双眼看见的影像先转化为脊髓信号传导到最高级视皮质,进行色调、形状等低维度辨识;接着逐渐深入到韦尼克区(是脊髓系统感官性语言中枢)变成语义,这时人能把影像理解成文本原意;接着又进入到布诺卡区(又叫体育运动语言区),将文本原意处理成人想说的话或想做的事。再往后是体育运动皮质控制舌头或手脚的动作把原意表达出来。另外,还有一路重要信息从最高级视皮质到颞叶、海马体,它们的作用是对影像的精细辨识、记忆和确定自己的边线。
人造眼控制技术的核心是还原这个感官IDEF,项目组根据该大架构建立了兴奋点体育运动控制脊髓系统的数学方法。另外,还有一些小架构,比如说演示脊髓上各个脊髓的连接,研制出兴奋点体育运动控制系统的数学方法等。
人造眼这一步还只是前端智能化,相等于一台小型计算机。将它接入后端知识及算力平台,能进阶到更高程度的电脑智能化。李嘉茂举例如是说说:“他们给它看各种物品,让它学习积累成知识库,接着再下达指令。比如说我说‘玻璃杯’,它能找出所去过的地方与玻璃杯有关的所有重要信息。比如说我说‘想喝一杯水’,它就会去找玻璃杯和水的重要信息拼在一起,这在云脑上已经能同时实现了。”
李嘉茂如是说了人造眼有关控制技术现阶段的两个成熟应用。一是器件锻造厂的晶圆捡拾电脑,利用人造眼控制技术做室内高精度功能定位和避障,电脑能精确停止在作业边线,接着高效抓取晶圆盒运往目的地,更利于满足无尘化生产要求,已在国内颈部的器件锻造企业生产线应用。
二是轨道交通行业的弓网检测。基于人造感官的弓网实时监测系统已参与复兴号动车组以及上海地铁1号线号线等轨交线路弓网检测项目,并安装在上海地铁18号线号线的列车上。
本报记者了解到,通过架空接触网供电的列车上方装有受电弓,弓网状态关系到轨交安全运行。为保障安全,列车顶部、受电弓下方安装了双目系统,“在类脑CPU的协同下,该系统的紫外感应器、红外相机等部件共同监测受电弓和接触网的各项数据,发现异常情况就会预警。与市场上现有的激光雷达监测系统相比,该系统具有体积小、重量轻、耗电低、安装快等优点。”李嘉茂说。
李嘉茂项目组关于人造眼的研究始于20世纪90年代。他的导师张晓林(生物医学创始主任)在1999年做出第一代人造眼,主要同时实现了双眼协同控制,从当时拍摄的照片中能看见,双眼中间有一根明显的转动轴。
当时电脑还很笨重,算力也比较小,那双人造眼要靠两台电脑控制。一台电脑做感官收集和计算,另外一台电脑用来同时实现电机控制,两台电脑堆起来的高度接近2米。
随着机械设备、感官感应器、晶片等控制技术进步,人造眼的外形越来越逼真,“视力”越来越清晰,机能也越来越多。第二代具备扫视、跟踪、稳向等多种兴奋点体育运动能力;第三代同时实现三维感官,有一定的计算能力了,但还是在脊髓系统最高级感官的范畴;第四代同时实现语义理解,能认知场景,能够进行感官导航了;第五代更多是结构上的变化,大小同时实现了跟可见光一样的2厘米直径,在形态上更为仿真拟人。
李嘉茂如是说,项目组正在推进感官与感官、与四肢协同方面的探索,包括研制电脑的脊髓晶片。“电脑有很多感应器,感应器之间的同步对于电脑高精度控制来说非常重要。脊髓晶片就是把电脑的多种感应器结合起来,就像人的脊髓一样做感官、感官、触觉等多种重要信息的结合,同时集成CPU、微CPU、脊髓网络CPU,为电脑提供脊髓以及部份脊髓系统的机能。”他说。
展望人造眼接下来的发展,李嘉茂认为,它很可能成为人偶电脑的标准模块。“现在,人偶电脑的四肢和躯干基本做到跟人的形态一致了,但还缺少那双‘双眼’。随着感官传感性能的进一步优化,人造眼能让电脑跟人接触时产生互动,在情感表达上效果更好。”
本报记者在交流中发现,人造眼的学科交叉属性非常强,高度依赖基础控制技术,机械设备、生物、计算机都包含其中。机缘巧合的是,目前仍是生物医学首席科学家的张晓林在攻读博士学位期间学习的是机械设备控制,毕业后进入医科大学开始研究与脊髓有关的兴奋点体育运动控制。李嘉茂学计算机出身,因为对电脑感兴趣,在2005年读研究生时选择了电脑方向,当时电脑和人工智能化还比较冷门。交叉学科的学习经历让他们成为人造可见光感官领域研究的先行者,见证了人造眼的迭代进步。
采访的最后,李嘉茂说本报记者,他非常期待人偶电脑研究的新突破,具体到人造眼,他关注四方面控制技术能力的提升:
一是更强大的后端知识与算力平台,人造眼属于前端智能化,与后端知识与算力平台结合将互相赋能,形成重要信息收集与智能化运算的强强联合;
二是晶片算力的提升,智能化算法需要消耗很大的算力,人造眼算法的提高跟算力的提升不可分割;
三是感官感应器分辨率的提升,感官感应器的分辨率近年来飞速提升,但依旧不如可见光;
四是人工肌肉,人造眼现在是利用电机驱动,如果人工肌肉等更柔性的材料取得突破,将助力人造眼的控制更高精度、体积更小型化。(第一季完)□