当前位置: 首页 > 资助成果
资助成果
我国学者在面向开放环境的类脑视觉感知领域取得进展
日期:2026-09-03
来源: 生命科学部
作者:张砚宇
字号:【
打印

  一辆无人驾驶汽车驶入隧道,眼前的世界骤然变暗;一架无人机高速追踪目标,周围景象瞬息万变。当摄像头面对强烈光照、快速运动或频繁闪烁等复杂环境时,获取的视觉信息可能出现模糊、过曝、欠曝甚至信息缺失。然而,人类通常不会因此“看不清”世界,即使光线骤变、目标快速移动,甚至部分视觉信息被遮挡,我们依然能够迅速判断眼前是什么、在哪里、向哪边运动。如何让机器也能像人类视觉系统一样自主学习、推断、修复不完整、不稳定的信息,并将所学知识迁移至高级认知任务,是推动通用人工智能走向真实世界必须面对的关键挑战。

图 《Nature Sensors》本期封面

  在“脑科学与类脑研究”国家科技重大专项(批准号:2021ZD0200300)资助下,清华大学类脑计算研究中心施路平教授、赵蓉教授团队取得研究进展。相关成果以“Brain-inspired visual sensing–perception for open-world environments”为题发表于《Nature Sensors》,并入选当期期刊封面,论文链接:https://doi.org/10.1038/s44460-026-00095-3。

  研究团队从人类视觉系统信息的处理机制中获得启发,基于前期在同一项目支持下自主研发的类脑视觉芯片“天眸芯”(2024年5月29日《Nature》封面成果)所具备的多通路感知能力,构建了面向开放世界环境的类脑视觉传感—感知学习框架。不同于主要依赖单一图像进行端到端映射比对的传统方法,该框架利用“天眸芯”不同视觉通路获取颜色、亮度、运动方向、边缘等基础视觉特征信息,即“视觉原语”,并将这些基础视觉特征进行学习和组合,逐步形成更加完整、稳定的视觉表征。在此基础上,系统进一步学习不同视觉信息之间的关联,建立内在感知模型,从而能够自主判断信息的可靠程度,并对受到干扰或缺失的视觉信息进行补偿,使系统在高速运动、强烈明暗变化、快速闪烁和多重干扰等复杂环境下仍能保持稳定的视觉感知能力。这一思路使机器视觉从“尽可能获得一张完美图像”,进一步走向“即使信息不完整,也能够理解眼前的世界”。例如,在视频实例分割任务中,可有效减少目标遗漏、误判、残缺和错位,在显著提升检测与分割精度的同时,维持高达115.1帧/秒的实时推理速度。

  该研究打通了从视觉传感、信息表征到智能感知的统一路径,使类脑视觉由单一新型传感芯片发展为可学习、可迁移、可扩展的完整感知体系,推动智能技术从“看得见”向“看得稳、看得准、用得上”发展。本研究以脑科学基础机制牵引智能感知技术创新,为推动人工智能从受控环境走向开放世界提供了新的类脑路径,也体现了脑科学与人工智能、智能芯片等前沿领域深度交叉融合的发展方向。其进一步发展有望推动智能系统由被动的信息识别向主动的环境理解演进,为构建更加自主、可靠、适应复杂真实环境的新一代智能技术体系提供重要科学基础与技术支撑。