摘 要：人工智能就是让机器能够像人一样学习、思考并理解，即用计算机模拟人的智能，它涵盖认知与推理（包含各种物理常识和社会常识）、计算机视觉、自然语言理解与交互（包含听觉）、机器学习等广泛的学科领域。人机协同的混合增强智能是新一代人工智能的典型特征，视听觉信息的认知计算是新一代人工智能的重要研究内容。理解人类视听觉认知并建立可计算视听觉认知模型对人工智能的核心算法具有重大的启示意义。

1 引言

1956 年美国达特茅斯会议的召开，标志着人工智能（artificial intelligence， AI）正式成为一门新兴的交叉学科。现在，人工智能已从过去高墙深院的研究演变成为推动人类经济、社会发展的新技术引擎。它涵盖了认知与推理（包含各种物理常识和社会常识）、计算机视觉、自然语言理解与交互（包含听觉）、机器学习等广泛的学科领域，目的是让机器能够像人一样理解、思考和学习[1]。借《智能科学与技术学报》创刊之际，就人工智能学科与技术的发展及其对社会推动的作用，谈一点自己的看法，抛砖引玉。

2 人机混合增强智能新型态

当前的人工智能系统在不同层次上都依赖大量的样本训练完成有监督的学习，真正的通用智能会在经验和知识积累的基础上灵巧地无监督学习。如果仅仅是利用各种人工智能计算模型或算法的简单组合，不可能得到一个通用的人工智能。特定领域的人工智能系统（如谷歌的

AlphaGo[2]、 IBM的深蓝和 Watson[3]等）依赖强大的计算能力在挑战人类智力方面取得了巨大进步，但这些系统无法通过自身思考得到更高层次的智能，它们与具有高度自主学习能力的通用人工智能依然存在差距。但是，人工智能在这些特定领域应用的巨大成功为新一代人工智能的研究与发展提供了重要的借鉴和新的方法。

人类面临的许多问题具有不确定性、脆弱性和开放性，人类是智能机器的服务对象和最终“价值判断”的仲裁者，因此，人类智能与机器智能的协同是贯穿始终的。任何智能程度的机器都无法完全取代人类，这就需要将人的作用或认知模型引入人工智能系统，形成混合—增强智能形态，这种形态是人工智能或机器智能的可行的、重要的成长模式。混合增强智能形态有两种基本实现形式：人在回路的混合增强智能，基于认知计算的混合增强智能。

（1）   人在回路的混合增强智能

将人的作用引入智能系统中， 形成人在回路的混合智能范式。在这种范式中，人始终是这类智能系统的一部分，当系统中计算机的输出置信度低时，人主动介入调整参数给出合理正确的问题求解，构成提升智能水平的反馈回路。把人的作用引入智能系统的计算回路，可以把人对模糊、不确定问题分析与响应的高级认知机制与机器智能系统紧密耦合，使两者相互适应，协同工作，形成双向的信息交流与控制，使人的感知、认知能力和计算机强大的运算和存储能力相结合，构成“1+1>2”的智能增强智能形态。

（2）基于认知计算的混合增强智能在人工智能系统中引入受脑认知和神经科学启发的智能计算模型，构建基于认知计算的混合增强智能。这类混合智能是通过模仿生物大脑功能提升计算机的感知、推理和决策能力的智能软件或硬件，以更准确地建立像人脑一样感知、推理和响应激励的智能计算模型，尤其是建立因果模型、直觉推理和联想记忆的新计算框架。

对于当前人工智能而言，解决某些对人类来说属于智力挑战的问题可能是相对简单的，但是解决对人类来说习以为常的问题却非常困难。例如，很少有三岁的孩童能下围棋（除非受过专门的训练），但所有的三岁孩童都能认出自己的父母，且不需要大量经过标注的人脸数据集的训练。人工智能研究的重要方向之一是借鉴认知科学、计算神经科学的研究成果，使计算机通过直觉推理和经验学习将自身引导到更高层次。

另外，在现实世界中， 人们无法为所有问题建模，这里存在条件问题（qualification problem）和分枝问题（ramification problem），即不可能枚举出一个行为的所有先决条件，也不可能枚举出一个行为可能产生的所有结果。而人类大脑对世界的印象是一个不完整世界的描述，但这个不完整的世界却是人类直觉判断和逻辑思维、推理的基础，使得人类能够在不完整的世界描述中产生正确的行为。人脑对真实世界环境的理解、非完整信息的处理、复杂时空关联的任务处理能力是当前机器学习无法比拟的；

另外，人的大脑神经网络结构的可塑性，以及人脑在非认知因素和认知功能之间的相互作用，是形式化方法难以、甚至不能描述的。人脑对于非认知因素的理解更多的是来自直觉，并受到经验和长期知识积累的影响。人脑所具有的自然生物智能形式，为提高机器对复杂动态环境或情景的适应性，以及非完整、非结构化信息处理和自主学习能力，并实现一类健壮的混合—增强智能提供了重要启示。

将认知计算与多模型的深度神经网络相结合，有可能解决人工智能研究长期面临的复杂的规划和推理方面的问题，并有可能解释或实现某些人类或动物行为以及他们在新的环境中学习和行动的方式，可以建立比现有程序计算量少得多的人工智能系统。在认知计算的框架下，可以构建更加完善的大规模数据处理和更多样化的计算平台，也可为多智能体系统解决规划和学习模型的问题，以及为新的任务环境中的机器协同提供新的模式。

3 视听觉信息的认知计算

近年来，机器学习和人工神经网络等方法在高维数据可视化、特征提取、数据聚类与特征子空间分析等方面取得了重要进展，但非结构化数据本质维数的确定仍然是一个公开的难题；现有信息处理方法多针对单模态，对多模态信息的处理基本还停留在将各种单模态信息的处理结果在决策层面上进行融合的阶段。计算机对感知信息不能有效处理，根本原因在于不能对真实场景的基本特征进行可靠提取，缺乏对真实场景基本特征的一般表达方式以及对不同模态下信息特征有效整合的理论。

这即要求从人类的视听觉认知机理出发，重点围绕认知过程的“表达” 与“计算” 这一基本科学问题展开研究。我国学者从20 世纪 90 年代就认识到了这一关键问题，在自然科学基金委员会和众多领域专家们的共同推动下， 2008 年，“视听觉信息的认知计算” 重大研究计划正式启动，目标在于研究并构建新的计算模型与计算方法，提高计算机对非结构化视听觉感知信息的理解能力和海量异构信息的处理效率，克服图像、语音和文本（语言）信息处理所面临的瓶颈困难[4]。

为实现这一目标，“视听觉信息的认知计算”重大研究计划围绕“感知特征的提取、表达与整合”“感知数据的机器学习与理解” 以及“模态信息协同计算” 3 个核心科学问题展开研究，并搭建了两个比赛平台，即“中国智能车未来挑战赛” 和“中国脑—机接口比赛”，目的是推动研究工作走出实验室、促进原创性重大成果的产生。通过在真实的物理环境中验证理论成果，解决实际环境中复杂认知和智能行为决策等问题，“视听觉信息的认知计算” 重大研究计划改变了简单的论文汇总或实验室成果演示的传统模式，促进了应用基础研究与物理可实现系统的有机结合。

4 结束语

人工智能是一种引发诸多领域产生颠覆性变革的前沿技术，合理有效地利用人工智能，意味着能获得高水平价值创造和竞争优势[5]。通过与其他科学领域的交叉结合融入人类社会发展的各个方面，人工智能将进一步释放历次科技革命和产业变革积蓄的巨大能量，创造新的强大引擎。

同时，也要清楚地认识到：一些人工智能发展的重大问题，在现时很难纳入已有的或成熟的理论框架之中。 因此一些新的研究方向是不确定的，但一个重要的基本途径是：从脑认知和神经科学领域寻找发展新一代人工智能的灵感，推动人工智能的学科交叉研究已成为必然的趋势。

在推动新一代人工智能发展的过程中，还需要有科学的哲学思考。 每一个看似极其复杂，且难以用已有方法解决的人工智能重大问题的背后，总存在一种简化的基本原理，找到这种基本原理，就能深刻理解问题的本质及其产生的规律。人工智能模糊了物理现实、数据和个人的界限，衍生出复杂的伦理、法律和安全问题。随着人工智能技术的深度发展和广泛应用，如何应对人工智能带来的深刻的社会问题已成为全球性的问题。人类社会需要审慎管理人工智能来应对这一转变。在这一方面，人文社会学科和哲学学科将大有作为。

参考文献：

[1] ZHENG N N, L Z Z, REN P J, et al. Hybrid-augmented intelligence:collaboration and cognition[J]. Frontiers of Information Technology &Electronic Engineering, 2017, 18(2):153-179.

[2] SILVER D, HUANG A, MADDISON C J, et al. Mastering the gameof Go with deep neural networks and tree search[J]. Nature, 2016, 529,484-489.

[3] CHEN Y, ELENEE ARGENTINIS J D, WEBER G, et al. IBM Watson:how cognitive computing can be applied to big data challenges in lifesciences research[J]. Clinical Therapeutics, 2016, 8(4): 688-701.

[4] 陈霖. 新一代人工智能的核心基础科学问题： 认知和计算的关系[J].中国科学院院刊, 2018, 33(10):108-110.CHEN L. The core basic scientific problem of the new generation of artificial intelligence: the relationship between cognition and computation[J]. Bulletin of Chinese Academy of Sciences, 2018, 33(10):108-110.

[5] 【学科前瞻三十年】郑南宁：深化学科交叉发展人工智能[R]. 2019.

[作者简介]郑南宁（1952- ），男， 博士、 IEEE Fellow、中国工程院院士、西安交通大学教授、 西安交通大学人工智能与机器人研究所所长，主要研究方向为计算机视觉与模式识别、认知计算、人工智能系统及其先进计算架构。