张钹:迈向第三代人工智能

选择字号:   本文共阅读 539 次 更新时间:2020-10-15 18:52:10

进入专题: 人工智能  

张钹  

   1 第一代人工智能

   人类的智能行为是怎么产生的, 纽威尔 (A.Newell)、西蒙 (H.A.Simon) 等 [1~4] 提出以下模拟人类大脑的符号模型, 即物理符号系统假设。这种系统包括:

   (1) 一组任意的符号集, 一组操作符号的规则集;

   (2) 这些操作是纯语法(syntax)的,即只涉及符号的形式不涉及语义,操作的内容包括符号的组合和重组;

   (3)这些语法具有系统性的语义解释,即它所指向的对象和所描述的事态。

   1955 年麦卡锡 (J.McCarthy) 和明斯基 (M.L.Minsky) 等学者[5],在达特茅斯人工智能夏季研究项目 (the Dartmouth Summer Research Projecton ArtificialIntelligence) 的建议中, 明确提出符号 AI(artificialintelligence) 的基本思路:「人类思维的很大一部分是按照推理和猜想规则对‘词’(words)进行操作所组成的」。根据这一思路,他们提出了基于知识与经验的推理模型,因此我们又把符号 AI 称为知识驱动方法。

   符号 AI 的开创者最初把注意力放在研究推理(搜索)的通用方法上,如「手段–目的分析」(meanendanalysis)、「分而治之」(divideandconquer)、「试错」(trialanderror)法等,试图通过通用的方法解决范围广泛的现实问题。由于通用方法是一种弱方法,实际上只能解决「玩具世界」中的简单问题,如机器人摆放积木,下简单的井字棋(tic-tac-toe)等,与解决复杂现实问题相差很远。寻求通用 AI 的努力遭到了失败,符号 AI 于 20 世纪 70 年代初跌入低谷。

   幸运的是,斯坦福大学教授费根堡姆(E. A. Feigenbaum)等及时改变了思路,认为知识,特别是特定领域的知识才是人类智能的基础,提出知识工程(knowledgeengineering)与专家系统(expertsystems)等一系列强 AI 方法,给符号 AI 带来了希望。他们开发了专家系统 DENDRAL(有机化学结构分析系统,1965~1975)[6],随后其他学者相继开发了 MYCIN(血液传染病诊断和抗菌素处方,1971~1977)[7],XCON(计算机硬件组合系统)等。不过早期的专家系统规模都较小,难以实用。

   直到 1997 年 5 月 IBM 的深蓝(deepblue)国际象棋程序打败世界冠军卡斯帕诺夫(Kasparov),符号 AI 才真正解决大规模复杂系统的开发问题。费根堡姆和雷蒂(R. Raddy)作为设计与构造大型人工智能系统的先驱,共同获得 1994 年 ACM 图灵奖。

   符号 AI 同样可以应用于机器学习,把「机器学习」看成是基于知识的(归纳)推理。下面以归纳逻辑编程(inductivelogicprogramming,ILP)[8]为例说明符号 AI 的学习机制。在 ILP 中正负样本(具体示例)、背景知识和学习结果(假设)都以一阶逻辑子句(程序)形式表示。学习过程是在假设空间中寻找一个假设,这个假设应尽可能多地包含正例,尽量不包含负例,而且要与背景知识一致。一般情况下假设空间很大,学习十分困难,不过有了背景知识之后,就可以极大地限制假设空间,使学习变成可行。显然,背景知识越多,学习速度越快,效果也越好。

   为解决不确定问题,近年来,发展了概率归纳逻辑编程方法(probabilisticinductivelogicprogramming,PILP)[9]。基于知识的学习,由于有背景知识,可以实现小样本学习,而且也很容易推广到不同的领域,学习的鲁棒性也很强。以迁移学习(transferlearning)[10]为例,可以将学习得到的模型从一种场景更新或者迁移到另一场景,实现跨领域和跨任务的推广。

   具体做法如下,首先,从学习训练的环境(包括训练数据与方法)出发,发现哪些(即具有某种通用性)知识可以跨域或者跨任务进行迁移,哪些只是针对单个域或单个任务的特定知识,并利用通用知识帮助提升目标域或目标任务的性能。这些通用知识主要通过以下 4 种渠道迁移到目标域中去,即源域中可利用的实例,源域和目标域中可共享的特征,源域模型可利用的部分,源域中实体之间的特定规则。可见,知识在迁移学习中起关键的作用,因此,符号 AI 易于跨领域和跨任务推广。

   在创建符号 AI 中做出重大贡献的学者中,除费根堡姆和雷蒂(1994)之外,还有明斯基(1969),麦卡锡(1971),纽威尔和西蒙(1975)共 6 位先后获得图灵奖(括号中的数字表示获奖的年份)。总之,第一代 AI 的成功来自于以下 3 个基本要素。以深蓝程序为例,第 1 是知识与经验,「深蓝」从象棋大师已经下过的 70 万盘棋局和大量 5~6 个棋子的残局中,总结出下棋的规则。另外,在象棋大师与深蓝对弈的过程中,通过调试「评价函数」中的 6000 个参数,把大师的经验引进程序。第 2 是算法,深蓝采用α−β剪枝算法,有效提高搜索效率。第 3 是算力(计算能力),为了达到实时的要求,深蓝使用 IBM RS/6000 SP2, 11.38 G FLOPS(浮点运算 / 秒),每秒可检查 2 亿步,或 3 分钟运行 5 千万盘棋局(positions)。

   符号 AI 有坚实的认知心理学基础,把符号系统作为人类高级心智活动的模型,其优势是,由于符号具有可组合性(compositionality),可从简单的原子符号组合成复杂的符号串。每个符号都对应着一定的语义,客观上反映了语义对象的可组合性,比如,由简单部件组合成整体等,可组合性是推理的基础,因此符号 AI 与人类理性智能一样具有可解释性和容易理解。符号 AI 也存在明显的局限性,目前已有的方法只能解决完全信息和结构化环境下的确定性问题,其中最具代表性的成果是 IBM「深蓝」国际象棋程序,它只是在完全信息博弈(决策)中战胜人类,这是博弈中最简单的情况。而人类的认知行为(cognitivebehavior),如决策等都是在信息不完全和非结构化环境下完成的,符号 AI 距离解决这类问题还很远。

   以自然语言形式表示(离散符号)的人类知识,计算机难以处理,必须寻找计算机易于处理的表示形式,这就是知识表示问题。我们已有的知识表示方法,如产生式规则(productionrules),逻辑程序(logicprogram)等,虽然计算机易于处理(如推理等),但都较简单,表现能力有限,难以刻画复杂和不确定的知识,推理也只限于逻辑推理等确定性的推理方法。更加复杂的知识表示与推理形式都在探讨之中,如知识图谱(knowledgegraph)[11]、概率推理等[12]。符号 AI 缺乏数学基础,除数理逻辑之外,其他数学工具很难使用,这也是符号 AI 难以在计算机上高效执行的重要原因。

   基于知识驱动的强 AI 只能就事论事地解决特定问题,有没有广泛适用的弱方法,即通用 AI,目前还是一个值得探讨的问题。此外,从原始数据(包括文本、图像、语音和视频)中获取知识目前主要靠人工,效率很低,需要探索有效的自动获取方法。此外,真正的智能系统需要常识,常识如何获取、表达和推理还是一个有待解决的问题。常识的数量巨大,构造一个实用的常识库,无异于一项 AI 的「曼哈顿工程」,费时费力。

   2 第二代人工智能

   感官信息(视觉、听觉和触觉等)是如何存储在记忆中并影响人类行为的? 有两种基本观点,一种观点是,这些信息以某种编码的方式表示在(记忆)神经网络中,符号 AI 属于这一学派。另一种观点是,感官的刺激并不存储在记忆中,而是在神经网络中建立起「刺激–响应」的连接(通道),通过这个「连接」保证智能行为的产生,这是连接主义的主张,连接主义 AI 就是建立在这个主张之上。

   1958 年罗森布拉特(Rosenblatt)按照连接主义的思路,建立一个人工神经网络(artificialneuralnetwork,ANN)的雏形——感知机(perceptron)[13,14]。感知机的灵感来自于两个方面,一是 1943 年麦卡洛克(McCulloch)和皮特(Pitts)提出的神经元数学模型——「阈值逻辑」线路,它将神经元的输入转换成离散值,通常称为 M-P 模型[15]。二是来自于 1949 年赫布(D. O. Hebb)提出的 Hebb 学习率,即「同时发放的神经元连接在一起」[16]。感知机如图 1 所示。其中 b 为阈值,w 为权值。

   AI 的创建者从一开始就关注连接主义的思路。1955 年麦卡锡等在达特茅斯(Dartmouth)AI 研究建议中写道「如何安排一组(假想的)神经元使之形成概念 ······ 已经获得部分的结果,但问题是需要更多的理论工作」[5],并把它列为会议的研讨内容之一。由感知机组成的 ANN 只有一个隐蔽层,过于简单。明斯基等 [17] 于 1969 年出版的书《感知机》中指出,感知机只能解决线性可分问题,而且即使增加隐层的数量,由于没有有效的学习算法,感知机也很难实用。明斯基对感知机的批评是致命的,使刚刚起步的连接主义 AI 跌入低谷达 10 多年之久。在困难的时期里,在许多学者的共同努力下,30 多年来无论在神经网络模型还是学习算法上均取得重大进步,逐步形成了深度学习的成熟理论与技术。

   其中重要的进展有,第 1,梯度下降法(gradientdescent),这本来是一个古老的算法,法国数学家柯西(Cauchy)[18]早在 1847 年就已经提出; 到 1983 年俄国数学家尤里 · 涅斯捷诺夫(YuriiNesterov)[19]做了改进,提出了加强版,使它更加好用。第 2,反向传播(backpropagation,BP)算法,这是为 ANN 量身定制的,1970 年由芬兰学生 SeppoLinnainmaa 在他的硕士论文中首先提出; 1986 年鲁梅哈特(D.E.Rumelhart)和辛顿(G.Hinton)等做了系统的分析与肯定 [20]。「梯度下降」和「BP」两个算法为 ANN 的学习训练注入新的动力,它们和「阈值逻辑」、「Hebb 学习率」一起构成 ANN 的 4 大支柱。

   除 4 大支柱之外,还有一系列重要工作,其中包括更好的损失函数,如交叉熵损失函数(cross-entropycostfunction)[21]; 算法的改进,如防止过拟合的正则化方法(regularization)[22]; 新的网络形式,如 1980 年日本福岛邦彦(Fukushima)的卷积神经网络(convolutionneuralnetworks,CNN)[23,24],递归神经网络(recurrentneuralnetworks,RNN)[25],长短程记忆神经网络(longshort-termmemoryneuralnetworks,LSTM)[26],辛顿的深度信念网络(deepbeliefnets,DBN)[27] 等。这些工作共同开启了以深度学习(deeplearning)为基础的第二代 AI 的新纪元[28]。

第二代 AI 的学习理论有坚实的数学基础,为了说明这个基础,下面举一个简单的有监督学习的例子,有监督学习可以形式化为以下的函数回归问题: 从数据库 D 中提取样本,(点击此处阅读下一页)

    进入专题: 人工智能  

本文责编:yangjiaxin
发信站:爱思想(http://www.aisixiang.com),栏目:天益笔会 > 科学精神
本文链接:http://www.aisixiang.com/data/123177.html
文章来源:中国科学 2020年 第50期

0 推荐

在方框中输入电子邮件地址,多个邮件之间用半角逗号(,)分隔。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2020 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号 京公网安备11010602120014号.
工业和信息化部备案管理系统