新突破!我国科学家研制出世界首款类脑互补视觉芯片
在现代科技的舞台上,“视觉感知技术”正扮演着至关重要的角色。从无人驾驶汽车到灵巧的机器人,再到无处不在的智能监控系统,图像传感器的表现直接决定了这些技术的成功与否。
然而,当面对动态、多变且不可预测的环境时,传统图像传感器往往力不从心,面临诸多挑战。这些挑战最重要的包含动态范围有限、数据冗余、感知延迟等几个主要的方面。
动态范围指在图像或视频中能够捕捉到的最暗到最亮的可见范围内的所有像素范围。动态范围越大,设备能捕捉到更多的像素变化,从深黑到明亮的细节都可以更清晰地展示出来。然而传统传感器的动态范围非常有限,难以在强光和弱光环境下同时捕捉到清晰的图像。
数据冗余则是指高分辨率和高速传感器会产生大量数据,增加了处理和传输的负担。感知延迟是指由于处理速度的限制,传感器在快速变化的环境中有可能会出现感知延迟,影响决策的及时性。
由于动态范围有限,导致相机在弱光环境下(第三幅)图像中无法捕捉到清晰的人像
在自动驾驶、机器人和人工智能等领域,这样一些问题尤为明显。例如,在无人驾驶中,传感器一定要能迅速而准确地识别路况和潜在危险,但传统传感器在处理复杂场景(如忽然出现的行人或车辆)时常常表现不佳。
这些技术障碍限制了图像传感器在复杂环境下的应用,也催生了对更先进的视觉感知技术的迫切需求。科学家正在通过不断研究人类出色的视觉系统来试图寻找到解决方案。
人类视觉系统(Human Visual System, HVS)在处理复杂视觉信息方面表现出色。即,初级视觉皮层作为视觉信息的初步处理区域,将视觉信息分解为原始的成分,如颜色、方向和运动,并将这一些信息传递到背侧流和腹侧流,然后通过两条主要路径进行处理:
认知路径:腹侧流(Ventral stream)连接到颞叶(temporal lobe),主要负责高精度的认知和细节识别,如颜色和形状。这条路径使我们也可以清晰地看到物体的细节和颜色,并对环境做准确的认知。
动作路径:背侧流(Dorsal stream)连接到顶叶(parietal lobe),主要负责快速反应和运动检测,如方向和速度。通过这条路径,我们大家可以迅速识别运动的物体,并作出相应的反应,如避让障碍物或追逐目标。
这种双路径的解决方法使得人类能够在各种复杂环境中高效、准确地感知和反应。基于对人类视觉系统的模仿,清华大学的研究团队研发出了世界首款类脑互补视觉芯片——天眸芯片,突破了传统视觉感知芯片的缺点,提供了前所未有的高效、精准的视觉感知解决方案。
天眸芯片的设计理念基于对人类视觉系统的深入研究,采用了混合像素阵列和并行异构读出架构。
混合像素阵列模仿了人类视觉系统中的锥状细胞和杆状细胞,分别用于颜色和运动检测。其中,上皮细胞(Epithelial cells)支持和保护感光细胞的细胞层。锥状细胞(Cone)主要负责捕捉颜色信息,使我们也可以在明亮光线下看到丰富的颜色细节。而杆状细胞则对光线的强弱变化极为敏感,非常适合于低光环境,让我们在昏暗条件下看到物体的轮廓和运动。
并行异构读出架构是天眸芯片的核心部分。它的作用是将来自不同像素(如锥体和杆状像素)的电信号以高速度和高精度转换为数字数据。这种架构的优点是能够同时处理高动态范围和高速度的感知需求,有实际效果的减少数据冗余,并在复杂光照条件下保持高性能。
通过这些新技术的应用,天眸芯片同时具备了高速感知能力、宽动态范围和带宽优化这三个特点,解决了传统传感器的缺点。
高速感知能力:天眸芯片可以在一定程度上完成每秒高达10,000帧的速度,确保在快速变化的环境中依然能够捕捉到清晰的图。这种高帧率感知能力对于无人驾驶和机器人等需要实时感知和反应的应用场景至关重要。
宽动态范围:动态范围的计算单位是dB(分贝),传统传感器的动态范围通常在60至80dB之间,而人眼的动态范围约为120dB。天眸芯片拥有高达130dB的动态范围,能够在强光和弱光环境下同时提供清晰的图像。这在某种程度上预示着即使在阳光直射和阴影并存的复杂光照环境下,天眸芯片也能提供细腻的画面细节。
天眸芯片在不同光功率密度下的信噪比,通过结合动作路径和认知路径的高增益和低增益模式,天眸芯片实现了130dB的宽动态范围。这表明该芯片能在极强和极弱光照条件下提供高质量的图像。
带宽优化:通过自适应技术,天眸芯片能够减少90%的带宽需求,大大降低了数据传输和处理的负担。这种带宽优化技术不仅提高了数据传输效率,还降低了能耗,使得天眸芯片更适合移动电子设备和物联网应用。
天眸芯片在快速运动和光闪干扰下的高性能表现。通过动作路径的高速响应,芯片能迅速处理不可预测的光闪事件,同时保持低带宽消耗。天眸芯片在功耗和带宽方面相对于传统和神经形态视觉传感器展现了优越的性能。
天眸芯片在无人驾驶系统中的应用是其强大性能的一个重要展示。它能够在复杂的道路环境中提供准确、快速和稳健的感知,即使在角落情况下也能做出迅速反应。这对于提高无人驾驶系统的安全性和可靠性具备极其重大意义。
例如,天眸芯片在无人驾驶测试中展示了其在应对忽然出现的行人和车辆时的优越性能,明显降低了事故发生的概率。
除了无人驾驶,天眸芯片还可以大范围的应用于无人机、安防监控等领域。例如,在安防监控中,天眸芯片能够在光线变化剧烈的环境下提供高质量的视频图像,有助于及时有效地发现潜在的安全威胁。在无人机应用中,天眸芯片的高动态范围和高速感知能力使得无人机能够在复杂地形和光照条件下进行高效的导航和监控。
天眸芯片在长途驾驶测试中的表现。测试中,车辆遇到日夜、隧道、高动态范围、异常物体和复杂场景等极端情况。天眸芯片通过认知路径和动作路径检测结果的无缝同步,确保了高精度感知。
多种实验的根据结果得出,天眸芯片不仅仅具备高动态范围和高分辨率,还能在高速运动和极端光照条件下保持优异的感知性,在极端环境下的表现远优于传统传感器。
天眸芯片在未来科技发展中拥有无限的可能。随技术慢慢的提升,它将在更多领域中扮演不可或缺的角色。试想在增强现实(AR)和虚拟现实(VR)中,天眸芯片带来的超高质量视觉体验,将如何彻底改变我们的感知和交互方式?这仅仅是开始。
未来,当天眸芯片与人工智能技术深层次地融合,会为智能城市建设、医疗影像分析、工业自动化等领域带来哪些颠覆性的变革?它将如何引领我们进入一个更加智能和互联的世界?悬念依旧,我们拭目以待。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
基金会建议裁撤会:公开把大陆当另一个国家,会就没有存在理由
MacBook蝶式键盘翻车 苹果3.4亿赔偿款终于要发放!最高2877元
TP-Link 海外推出首款 Wi-Fi 7 电竞无线路由器 Archer GE800
qiao舌如簧:浅谈体育解说员的基本素养 qiao舌如簧:浅谈体育解说员的基本素养
4599人提前“上岸”!2024年上海市高中自主招生预录取学生名单公示!
爸爸看着儿子努力干活的样子十分欣慰,可惜儿子力气还是小了点需要爸爸帮助
睡在妈妈怀里的可爱宝宝,睡梦中的她笑得十分开心,“这是梦到什么好吃的了呀”