2018年1月8日，国家自然科学基金委员会批准“视听觉信息的认知计算”重大研究计划实施结束。该计划于2008年启动，2017年底资助项目结题，累计资助项目103项，其中包括培育项目62项、重点项目30项、集成项目5项、战略研究项目6项。申请项目涉及信息、数学物理、生命和医学等科学部，资助经费1.9亿元。
人工智能的发展和应用对于整个人类社会都正在产生重大而深远的革命性影响，直接影响国家综合实力与战略竞争力强弱。认知计算是新一代人工智能最核心的基础科学问题，而且视觉与听觉的感知能力是智能的重要组成部分。视听觉信息是人类获取外部信息的主要来源，对这些信息的机器理解与处理是人工智能的重要技术。虽然计算机的信息处理能力提升很快，但其与人类大脑的结构和信息处理方式不同，计算机的认知能力远远滞后。因此，攻克视听觉认知机理的表征和计算难题将会极大提高计算机对真实世界的丰富表征和理解的能力，进而突破开发先进人工智能的技术瓶颈和障碍，实现类人水平的智能。
该计划实施中始终遵循“有限目标、稳定支持、集成升华、跨越发展”的总体思路，围绕信息、数学物理、生命和医学交叉领域的科学前沿开展创新性研究。通过加强顶层设计，不断凝练科学目标，积极促进学科交叉，以解决视听觉信息的“表达”与“计算”为研究关键，围绕“感知特征提取、表达与整合”、“感知数据的机器学习与理解”和“多模态信息协同计算”等三个关键科学问题，开展了系统深入的研究工作，在认知基础理论、视听觉信息处理技术和重大研究平台等方面取得重大进展，圆满完成了项目制定的研究计划，实现了预定的科学目标，取得一系列具有重要国际影响的突破性进展，主要表现在：
（1）在基础理论的创新突破方面：提出知觉物体的拓扑学定义，发展了大范围首先“Global first”的拓扑性质知觉理论，解决了认知科学的一个核心难题，被国际同行评价为“认知科学一块重要基石”、“是与计算视觉和计算神经科学流派分庭抗礼之最重要知觉理论之一”。建立了视觉注意力统计学习计算模型和显著性目标检测新理论，丰富和发展了马尔计算视觉理论，成为中国学者在计算机视觉领域的重要学术贡献，被国际同行评价为“引领了第二次视觉注意研究热潮”。利用静息fMRI（功能性磁共振成像）数据构建了全脑静息功能连接模式，提出了脑网络多变量模式分析的新方法，揭示了认知障碍精神疾病的脑连接生物学标记，为研究脑认知的神经机制和脑机接口技术提供了重要理论基础，被《科学》论文评价为“杏仁核和海马等脑区功能连接的改变，揭示了大脑回路更为复杂的变化”。提出了新的汉语语义计算理论框架和方法，构建了汉语的语义计算理论与综合型汉语语言知识库，制定了汉语篇章标注规范并被国家标准《中文语音合成系统通用技术规范》采纳。建立了基于发音特征的声学模型，构建了面向公共安全的多语种海量音频自动理解系统，其应用为我国国家安全及反恐应对等领域做出重要贡献。提出了跨越数据类型和来源的视觉多模态内容检索算法，解决跨媒体多模态信息特征融合及视觉多模态内容检索的难题，推进了国家发展改革委和教育部支持的“大学数字图书馆国际合作计划（CADAL）”（世界最大公益性数字图书馆之一）及中国工程院“中国工程科技知识中心”的建设。
（2）在构建重大物理验证平台方面：构建了脑机接口、无人驾驶的集成创新验证平台，验证了复杂环境的感知和认知理解、适应性控制与决策等一系列视听觉信息处理的新模型和算法。提出基于视觉诱发电位频率—相位联合的高效脑机接口编解码算法，大幅度提高脑机接口的信息传输率，达到当时国际脑机接口领域的最高水平。基于视听觉诱导运动神经通道重建，构建脑控下肢康复训练系统和脑控下肢外骨骼康复训练机器人并得到验证。研制了面向载人航天的世界首套脑机交互在轨试验平台，并应用于天宫二号与神舟十一号载人飞行任务，成功完成人类首次太空脑机交互实验，促进脑机接口在国防领域的实际应用。该计划实施十年来，集成多传感器跨模态跨尺度信息融合、交通环境理解及运动决策等多项关键技术，构建了50余辆面向各种路况和多车交互协调的无人驾驶车辆验证平台。同时，在国际上首次提出了无人车测试理论和标准，并形成较为完整的测试体系，在常熟设立了我国首个智能车综合技术研发与测试中心。如图所示，该计划创办并连续成功举办了10届“中国智能车未来挑战赛”，实现了应用基础研究与物理验证系统有机结合，产生了重大的社会和国际影响。培养出的众多中青年人才已成为我国主要车企和无人驾驶创业公司的中流砥柱；成果转化效益明显，推动促进了我国无人车产业的发展。历经十年所实现的无人驾驶测试与验证计算框架及系统构建方法是中国无人驾驶技术标志性的进展，其成果作为焦点论文发表在顶级期刊《科学·机器人学》上，充分体现了该计划集成创新的成果。
（3）在助推国家人工智能发展战略的制定方面：我国新一代人工智能发展规划的一些重要内容是该计划研究方向的延伸和发展。该计划构建的无人驾驶重大集成创新验证平台已成为我国智能车、特别是当前人工智能研究的重要载体与验证平台。2017年11月，国家新一代人工智能发展规划公布了首批4个开放创新平台，该计划的研究内容涵盖了其中3个平台。在该计划的示范带动下，陆军装备部2014年创办了“跨越险阻”地面无人平台挑战赛，该计划的多个团队获得奖励，有效对接了国防重大需求，也推动了工信部2016年启动的5个智能汽车与智慧交通应用示范区建设。该计划培养出一批优秀的中青年人才，科技部新一代人工智能专家组约50%成员都参与了该计划的实施，引领和推动了我国新一代人工智能国家战略的确立和发展。
该计划显著提升了我国在视听觉信息处理及认知计算领域的整体研究水平和国际影响力，大大促进了我国人工智能的理论、方法、技术进步。发表论文2,255篇（SCI收录956篇，EI收录1,276篇），其中在PNAS、Neuron、Brain、IEEE T-PAMI等知名期刊上发表论文300余篇，ESI高被引论文35篇，20篇代表性论文WOS他引4,452次，Google总引用9,144次，获得知名国际期刊和会议最佳论文奖等学术奖励14项。出版外文专著36部，中文专著27部。申请发明专利541项，其中国家专利授权229项，国外专利授权6项。荣获众多重要奖项，包括国家自然科学奖二等奖5项、国家科技进步奖二等奖3项、国家技术发明二等奖1项、省部级一等奖6项、其他奖励32项。相关研究成果在无人驾驶智能车、载人航天、医疗健康和公共安全等领域得到示范应用。
在该计划实施期间，项目及项目团队中有4人当选中国科学院院士，9人当选IEEE Fellow，6人获得国家杰出青年科学基金项目，4人获得优秀青年科学基金项目，4人成为“长江学者”特聘教授，3人成为国家“万人计划”科技创新领军人才，2人入选中组部青年拔尖人才支持计划，1人入选中科院“百人计划”。培养出站博士后40人，毕业博士研究生343人，毕业硕士研究生722人。该计划在认知计算及其应用领域培养了一批具有国际水准的优秀科学家，为我国视听觉信息的认知计算研究领域创新能力的全面提升和可持续发展提供了重要的人才保证。
评估专家组认为，该计划的实施使我国在视听觉认知计算基础理论和相关集成创新平台实现了跨越式发展，促进和推动了我国新一代人工智能国家战略的确立。经综合评估专家组讨论投票，认为该计划全面完成了既定任务，达到了预定科学目标，评估结论为良好。
图. 我国无人驾驶智能车技术发展历程