刘东亮:新一代法律智能系统的逻辑推理和论证说理

选择字号:   本文共阅读 768 次 更新时间:2022-05-28 00:17

进入专题: 法律智能系统   逻辑推理   论证说理  

刘东亮  

内容提要:法律智能系统运作逻辑的合理性,是取得当事人和公众信任的基础,也是其决定具有正当性和可接受性的重要根据。传统的基于规则的专家系统,其逻辑根基是演绎推理。基于案例的推理的专家系统,底层逻辑是类比推理。使用大数据技术的智能系统,属于“基于计算模型的推理”。在处理广泛存在的模糊性问题时,智能系统会运用到模糊推理和模糊逻辑。由于新一代智能系统多采用混合技术路径,上述推理方式可以并存。鉴于价值选择和价值判断是现阶段计算机能力的短板,智能系统尚无法像人类一样展开情理法兼容的论证,解决出路是将论证的复杂要求“降维”成解释,即非正式的说明理由。可以合理预见,法律智能系统的发展方向是“人机协同”。


关键词:法律智能系统 逻辑推理 论证说理 人机协同


目  次


一、导言:为什么研究智能机器的逻辑


二、研究机器逻辑的前提问题:法律逻辑之检视

三、法律智能系统的基本推理方法

四、法律智能系统的说理:以“解释”替代“论证”

五、结语:法律智能系统的未来


一、导言:为什么研究智能机器的逻辑


人工智能(AI)技术正在向法律领域全面渗透。尽管在司法领域,尚未有真正的“阿尔法法官”(Judge Alpha)出现,智能系统的作用还主要是辅助办案,但在行政领域,各种形式的“自动化决策系统”(automated decision systems)早已得到广泛运用。

法律智能系统的落地应用,在带来便捷和高效的同时,也不可避免地引发了某些疑虑。因为,对于大多数人来说并不清楚这些复杂的机器究竟是如何作出决定的。诸如“人工智能的算法本质上是黑箱”等似是而非的说法,更是无形中加重了人们的心理负担。不难设想,如果我们完全不知道这些机器是如何作出决定的,无论其外在表现看起来多么“智能”,我们都无从确定能否信任机器,也无法接受其决定。而可接受性是一切法律决定的生命。法律决定可接受性的基础,除了程序正当性之外,还端赖其逻辑合理性。尤其是,在法律智能系统瞬间即可作出决定,程序的时间和空间要素都被大幅度压缩的情况下,逻辑合理性就成为首当其冲的重要问题。正因为如此,有些国家或地区的法律,如欧盟《通用数据保护条例》(GDPR)第13条要求,自动化决策的主体必须为当事人提供决策的相关逻辑和实质性信息。

从技术角度来说,逻辑的重要性亦复如是。计算机之父冯·诺伊曼曾指出:“任何为人类所使用,特别是为控制复杂过程而建造起来的人造自动化系统,一般都具有纯粹逻辑的部分和计算部分。”在人工智能的研究中,逻辑作为描述和模拟人类思维的工具,成为重现智能的手段。具体到法律智能系统,其核心问题即法律推理的逻辑表示问题。那么,照此而言,法律智能系统作出决定时遵循什么样的逻辑?此种逻辑和普通形式逻辑(经典逻辑)相比,特别是和法律逻辑相比,究竟有无不同?这是要我们相信并接受法律智能系统的决定之前必须厘清的问题。


二、研究机器逻辑的前提问题:法律逻辑之检视


比较应有明确的参照。在我们分析智能系统的逻辑之前,首先要弄清楚什么是法律逻辑。不难理解,AI终究是一种服务于法律实践的技术手段,如果对法律实践本身的规律缺乏了解,特别是对法律逻辑的本质特征没有充分认识,人工智能的加入不仅无助于实现法律公正,反而有可能治丝益棼、添堵又添乱。正是在这个意义上,有技术专家指出,法律逻辑的研究水平决定了法律智能系统的研发水平。

研究表明,法律逻辑是受实践理性支配的实践逻辑(practical logic),其分析和评价的对象是法律实践中的推理与论证。这种鲜明的实践性本质生发出法律逻辑的各项特征,并使其与体现人类纯粹理性、适用于数学和自然科学等先验领域的普通形式逻辑区别开来。关于法律逻辑和形式逻辑以及三段论三者的关系,可用图1表示:

图片



概言之,法律逻辑、法律推理和论证具有以下几项特征:

1. 法律逻辑包容价值判断。日本法学家川岛武宜指出:“在法律学中展开逻辑论证的三段论,关键的问题几乎都集中在如何决定大前提上。此处所谓的大前提与数学中的公理不同,它可以被法学界改变……”事实上,不仅法律规范存在价值判断,在确定小前提时,对事实的描述和认定也常常蕴含有价值判断(比如“他偷走了那笔钱”,这一事实描述包含着“他不应当拿走那笔钱”的道德批判)。比利时法学家佩雷尔曼(Chaim Perelman)说得更为干脆,“法律逻辑根本离不开价值判断”。也就是说,法律逻辑并非像我们通常所设想的“将形式逻辑应用于法律”。如果问题关系到法律的内容而非形式推理,形式逻辑就无能为力;形式逻辑也不能帮助消除法律中的矛盾和填补法律中的空隙。由于法律推理的大小前提和结论通常都含有价值判断,因而,法律逻辑属于“道义逻辑”(deontic logic),其评判的对象是伦理行为和规范命题(义务、许可、禁止等),与道德哲学存在密切关系。

2. 法律逻辑允许推理结论的非唯一性。由于法律推理的前提通常都蕴含有价值判断,而价值判断具有多元性,各种不同意见可以同时是合理的。易言之,在一个多元的世界中,价值判断的准则是“合理的”“可接受的”等原则,因而,法律问题往往没有唯一“正确”的答案。按照佩雷尔曼的说法,法律推理主要是实现不同价值判断之间的“综合与平衡”,即由法官通过对自身决定的论证,给出正当性理由,以说服作为直接受众的当事人和不在场参与的社会公众(实际的最终裁判主体)。因此,法律推理可以归结为著名数学家波利亚(GeorgePolya)所说的“合情推理”(plausible reasoning),它与适用于数学和自然科学领域受形式逻辑支配的严密的“论证推理”相对应,并相互补充。

3.法律逻辑承认推理结论的“可废止性”。从概念上看,法律推理过程所使用的前提的“真”(true),虽然表面上与形式逻辑使用相同的术语,其真实含义却是“证成”(justified)。当新的信息补充进来后,原来的证成可能会失去效力。因此,由于法律规范的开放性和法律事实的建构性,法律推理的结论是可废止、可逆转的。这就意味着,法律逻辑是一种非单调逻辑,与形式逻辑中演绎推理的单调性有明显不同。

4.法律逻辑评判法律推理与论证的强度和可信度。法律论证所追求的目标,并非普通逻辑学意义上论证形式的有效性(valid argument)和论证结果的可靠性(soundness),而是追求“强论证”(strong argument)与“可信度”(cogency)。因为在法律推理过程中,在大多数情况下,前提和结论之间无法做到100%确定的必然联系(很多时候也无必要)。这意味着,法律推理属于非必然性推理,法律论证也只是一种“强论证”。如果按照形式逻辑的标准,“强论证”实际上属于“无效论证”。但是在法律实践中,我们把前提可为结论提供支持的程度达到某种法定标准的强论证称为“有效论证”,意指我们整体上认可这一论证。同样,在论证结果的真实性上,法律逻辑要求的并不是“可靠性”而是其“可信度”。在人类认知能力有限且受到法律程序制约(如时限要求)的情况下,具有一定可信度的论证结果,虽然无法绝对排除出错的可能,但却是可接受的。

法律逻辑的上述诸项特征(不完全归纳),皆源于法律的实践性本质,是法律的实践性在不同侧面的体现和反映,它们共同构成法律智能系统的设计约束(design constraints)。这些约束条件不仅框定了法律智能系统的能力范围,亦成为分析其底层逻辑的参照标准,可以据之评判智能机器的决定是否具有可接受性。


三、法律智能系统的基本推理方法


新一代法律智能系统往往集成了包括专家系统、数据挖掘和机器学习等在内的多种人工智能技术,也就是说,实践中已广泛采取混合智能方法,因此,我们可按照技术发展的时间脉络,对不同历史时期出现的智能系统及其运用的基本推理方法进行逐个分析,以求在“解剖麻雀”的基础上,更深入地理解新一代法律智能系统的总体运行逻辑。

(一)传统的专家系统:基于规则的推理

在研究人工智能时,我们总会遇到一个绕不开的问题:什么是智能,它是如何产生的?从信息科学的角度而言,智能的生成离不开信息。人类认识世界、改造世界的思维过程同时也是一个信息转换的过程。根据信息转换原理,智能的生成路径是“信息→知识→智能”,即先从数据中获取信息(what),从中提炼知识(why),进而激发智能决策(how to do)。人工智能面临的挑战是通过机器模拟人类智能,这需要首先将信息转换成知识,再将知识有效组织、关联起来,然后运用自动化推理作出决策。

1.专家系统的核心机制:知识表示与推理

在人工智能的发展史上,古希腊哲学家亚里士多德概括的以演绎推理为主的形式逻辑、英国哲学家培根提出的“知识就是力量”及其对归纳法的研究,都对AI的技术路径产生了重大影响。19世纪数理逻辑的发展和20世纪40年代电子计算机的问世,使得人类很早就有的借助机器执行自动化推理的梦想在一定程度上成为现实。

1956年夏,由西蒙(Herbert A. Simon)和纽厄尔(Allen Newell)带到达特茅斯会议上,通过选择性搜索解决非数值问题的“逻辑理论家”(Logic Theorist),是首个使用逻辑公理进行推理的计算机程序;二人其后不久开发的针对非特定主题的“通用问题求解器”(GPS),被称为第一个“像人一样思考的程序”,由此开辟了以前只能由人类智能完成的任务可交由机器自动化操作的道路。西蒙等人因使用符号逻辑作为模拟人类智能的方法,因而被称为人工智能的逻辑主义或符号主义学派,并长期一枝独秀,成为人工智能的主流派别。

逻辑主义学派将逻辑视为人工智能的基础。该学派的突出成就是研发出了适用于各特定领域的专家系统(expert systems)。在大数据时代到来之前,专家系统因其在计算机科学和现实世界的贡献而被视为人工智能领域最成功的应用。专家系统最强大的理论基础来自亚里士多德建立的逻辑前提。亚里士多德、笛卡尔等人的理性主义哲学强调在理解世界时推理的力量,并认为正是人类具有的推理能力将人类与所有其他生物区别开来。任何建立人工智能机器的尝试都离不开这种推理能力。

当然,单有以逻辑规则为基础的推理是不够的,知识才是智能的核心和基础。如果缺少构成推理之大前提的知识,就不足以解决现实生活中的任何问题。自1970年以后人工智能从对一般思维规律的探讨转向以知识为中心的研究以来,专家系统的研发在多个领域取得了重大突破,各种不同功能、不同类型的专家系统如雨后春笋般建立起来,产生了巨大的经济效益和社会效益。

专家系统的核心机制可概括为“知识表示”与“推理”。反映在构造上,专家系统有两个必不可少的核心组件:知识库和推理机。知识库(knowledge base)是按照一定方式存储在计算机系统中的知识集合,它也是特定领域人类专家经验知识的集合,其中存在大量使用启发式方法(heuristics)从专家经验中提炼出来的“if-then”规则,这些规则被称为“产生式规则”(production rule)。产生式规则是一种通用的表示世界的方式,也是人类进行问题求解的基本范式。产生式规则具有固定的格式,每条规则都由前提和结论两部分组成,因此它非常适合表达具有因果关系的过程性知识。推理机(inference engine)链接知识库中的规则和综合数据库中的事实信息,一旦适用条件相匹配就触发推理机制执行推理,然后由机器按照输出的推理结论(决策结果)付诸行动。

相比较而言,知识(库)是提升专家系统能力的关键。无论是传统的知识工程(Knowledge Engineering),还是新一代知识工程技术(知识图谱),都是围绕知识的获取、表示和应用来构建知识库。在构建知识库时,产生式规则是最常用的知识表示方法,专家系统因而又被称为“基于规则的系统”(rule-based systems)或“基于知识的智能系统”(intelligent knowledge -based systems)。由于产生式规则的一般形式是“if-then”,这使得其天然适合解决法律领域的问题,特别是用于处理涉及成文法规则的问题。这也是为什么人工智能研究在曾经两度陷入“寒冬”的曲折发展过程中,人们对研发法律专家系统仍然充满热情、锲而不舍的一个重要原因。

不过,产生式系统中的知识单位是产生式规则,这种知识单位由于太小而难以处理复杂的问题。也就是说,基于规则的法律专家系统只能用于处理简单案件。如图1所示,可以用三段论直接处理简单案件,但是一旦法律规范与个案事实之间存在落差与断裂,单靠三段论就无能为力。从技术角度讲,不存在一组“if-then”规则可以将人类行为完美地简化,即使有成千上万条规则也难以完全涵盖复杂的案件情形。并且,由于存在“收益递减效应”,一小部分规则处理了大部分问题空间,需要添加更多的规则处理特殊情况。易言之,在构建专家系统时,10%的规则涵盖了90%的问题空间,其他90%的规则用于处理例外。显然,收益递减效应最终会产生约束作用。这也说明,很多基于规则的专家系统看似功能强大,但受限于以三段论为主的推理形式(“if-then”+事实⇒结论),实际上只能在明确定义的、有限的领域内解决问题。

当然,即便如此,在实践中推广法律专家系统的意义仍然十分重大。例如,有法官表示,很多信用卡违约案件,除了违约主体和金额不同,案件的其他特征并无本质差异,完全可以运用智能系统批量处理。此类简单案件或者纯粹程序性事务交由智能系统进行处理,可节省大量低层次、重复性劳动,为法官腾出时间和精力专注解决复杂、疑难案件创造条件,在一定程度上消解当下“案多人少”的矛盾与困境。从这个意义上说,法律专家系统是程序繁简分流的助推器,并有助于开展更高层面、更广范围的司法改革。

2.基于规则的专家系统的底层逻辑:演绎推理及其他推理形式

由于基于规则的专家系统是根据“if-then”规则进行推理,因此,其底层逻辑属于演绎推理。但要真正弄清楚基于规则的专家系统的逻辑基础,还需要深入分析其问题求解过程。

专家系统运用产生式规则进行求解,是一个不断从规则库中选取可用规则与数据库中的已知事实进行匹配的过程,规则的每一次成功匹配都使数据库增加了新的内容,并朝着问题解决方向前进了一步,直至数据库中包含了问题的解,则程序终止。以早期的沃特曼专家系统(W-LES)为例,该系统从法律专家处理产品责任纠纷的经验中提炼启发式规则并用“if-then”形式来表示,推理引擎循环执行这些规则,测试是否有任何可能触发规则,也就是说,规则的条件是否满足数据库中代表当前问题的事实。如果答案为是,适用的规则就会触发,并将其推断结果添加到数据库中。推理引擎反复循环执行其规则,直到无合适的规则可适用为止。

从上述过程可知,基于规则的法律专家系统,其逻辑根基是演绎推理,但同时也存在非演绎的因素。演绎推理仅体现在推理引擎运作的一个环节,即“if-then”规则的运用上。在构建知识库和数据库时,在利用法律专家的经验认定事实或解释成文法而提炼规则时,不可避免也会运用到归纳推理、反向推理、当然推理、设证推理等法律实践中常见的推理形式。前文指出,在利用专家的经验性知识提炼产生式规则时,很多时候使用启发法。启发法属于“经验法则”,其特点是根据必要非充分条件进行猜测和试错。这种方法很有用,但由于其不精确性而不能保证必然产生正确的结果。这表明,在这个证立产生式规则之前提(“if”)而类似法律论证理论中“外部证成”(External justification)的环节,推论结果存在不确定性。当然,这并不违反前文所述“法律推理是非必然性推理”的属性。可以说,尽管一个设计良好的基于规则的法律专家系统,可以被视为一个集众多法律专家之智慧于一身、近乎完美法律人的“化身”,但法律专家系统仍然存在无法消除的局限性,其决策结果仍有出错的可能。

(二)CBR专家系统:基于案例的推理

早期的专家系统,除了使用产生式规则进行知识表示之外,另一种常用的知识表示方法是“框架法”。这种知识表示方法的优势是可将文本中的非结构化数据表示为结构化的信息,从而为构建“基于案例的推理”(case-based reasoning)的专家系统(以下简称CBR专家系统)提供了可能。CBR专家系统亦因此成为一种独特的专家系统类型。

1.CBR专家系统的工作原理

人脑和计算机的工作原理不同,它不需要“精确计算”问题的答案。人脑的工作方式,除了依赖以模糊逻辑和概率算法为核心的“软计算”(soft computing), 另一种重要方式是使用存储的记忆作出反应(即所谓的“模式识别”)。大脑皮层通过记忆、反馈,形成“恒定表征”(invariant representations),按照世界的本来面貌建立并存储一个有关世界的模型。在特定的场景中,在外部信息的刺激下,人脑通过自联想记忆(auto-associative memories)唤醒过去存储的模型解决当前面临的问题。易言之,当人们遇到一个新问题时,总是先进行回忆,从记忆中找到一个与新问题相似的案例,然后把案例中的知识复用到新问题的求解之中。CBR专家系统即是对这种求解方法的模拟。

CBR系统的研究起步于20世纪70年代后期。CBR的研究历史与基于规则的推理、神经网络等相比要短一些,但是其发展却相当迅猛。至今,CBR已成为人工智能较为成熟的一个分支,尤其是在法律和医学领域,CBR专家系统的优势十分明显。这是因为,CBR特别适用于没有很强的理论模型、规则性知识不完备但人类经验知识丰富的领域。如果领域规则难以形式化、问题描述不完整或者问题求解需要的知识超出了现有的知识储备范围,都可以考虑使用这种方法,参考诸多既有案例进行推理。比如,1986年,马萨诸塞大学阿默斯特分校计算机科学教授利斯兰(Edwina L. Rissland)和其博士生阿什利(Kevin D. Ashley)合作开发了基于案例和假设进行法律推理的“海波系统”(HYPO)。这是第一个利用案例建模法律推理的专家系统。后来,阿什利等人又在海波系统的基础上开发出升级版的CABARET系统和CATO系统。又如,1978年,我国开发出第一个中医学专家系统“关幼波肝病诊疗程序”,临床验证获得满意效果。

不难理解,CBR专家系统是另一种形式的从经验中学习的基于知识的系统。只不过,它使用的知识不是既定的规则而是案例,这决定了CBR专家系统的核心组件是案例库。在构造案例库的过程中,案例的表示方法非常重要。案例表示也是对知识的描述,是用一些约定的符号把知识编码成计算机可识别的数据结构。案例表示有不同形式,不同表示形式产生的效果可能不一样。合理的案例表示可以使问题求解容易且高效;反之,则会导致求解的麻烦和低效。因此,研究案例表示方法的案例工程(case engineering)成为人工智能的一个重要领域。1975年,曾经参与发起达特茅斯会议的明斯基(Marvin Minsky)创立了“框架理论”(Frame Theory)。借助于描述对象某一方面属性的槽(slot)、侧面(facet)和属性值(value),框架法可以把知识的内部结构显式地表示出来。由于这种结构化的知识表示方法可将案例文本中的非结构化信息有效地组织、关联起来,因而成为案例工程研究领域的重大突破。当然,框架法也有不足之处,它不善于表达过程性知识,需要与产生式方法及其他更具有灵活性的、特别是辅助自然语言理解的语义网络表示法、脚本表示法等结合起来使用,以取得互补效果。

应当说,基于案例的推理作为一种方法论是合理的。客观世界具有一致性(regularity)和重现性(reproducibility),相似条件下会产生相似结果。“历史虽然不会简单重复,但总是惊人的相似。”相似性原理(相似问题具有相似解)因而成为CBR的基本假设,这与法律领域“同案同判”的理念天然契合。CBR法律专家系统的构建,也符合当今世界两大法系逐渐融合的趋势。中国目前推行的指导性案例制度亦为其研发和应用提供了坚实基础,诸如类案检索与推送、辅助裁判、裁判质量的监督检验等,都可以通过CBR专家系统得以实现。

2. CBR专家系统运行的关键:案例检索和相似性度量

CBR系统的工作过程,可以概括为四个阶段:案例的检索(retrieval)、复用(reuse)、修正(revise)与保存(retain)。也就是说,首先需要从存储的案例库中找到最相似的案例,然后在当前问题情境下,复用相似案例的解决方案。如果复用产生的求解结果不好,则需要根据当前问题和过去问题的差异对解决方案进行调整。若修正后的解决方案得到适当确认,新方案将作为新案例保存到案例库中以备将来使用。这四个阶段完整体现了CBR专家系统的工作过程,因此被称为“4R过程”。

在4R过程中,关键的一个环节是案例检索,即发现与当前问题最相似的案例,这直接决定了最终所选择的解决方案的质量——只有找到“同案”才能作出“同判”。然而,正如莱布尼茨所说,“世界上不存在两片完全相同的树叶”,世界上也绝不可能存在两个完全相同的案件。案例检索需要以相似性比较为基础,反映案例之间相似性关系的相似度定义因而十分重要。如果相似度定义得不好,检索的结果就不理想,也就谈不上应用的成功。

定义案例之间的相似度,判定两个案件究竟是否属于“同案”,需要考虑案例的情境,即案例在事实特征方面的相似性。案例情境由许多属性(事实特征)组成,案例间的相似度需要根据这些属性间的相似性来衡量。衡量方法是计算各属性之间的“距离”(数学在此发挥了威力)。如果距离小,相似度就大;如果距离大,相似度就小。有了距离的数值,就可以确定两个案例间的相似度。当然,在计算案例的相似度时,各属性对案例整体上的相似度有不同影响而需要作适当加权调整,必须综合考虑案例所具有的各属性整体上的相似性。

在对有足够样本容量的案例库进行检索时,常常会找到相似度不等的多个案例。这时候,相似度排序(ranking)非常重要。在基于规则的专家系统中,也存在类似的问题。匹配成功的规则可能不止一条,此时,推理机必须调用冲突策略予以解决,以选出最合适的规则来执行。这种策略称为“冲突消解”。如果存在多个候选案例,则依据某种度量标准确定案例各属性的权重并对候选案例进行排序,得分最高的成为最佳案例,将作为类比推理的先例来使用。

3. CBR专家系统的底层逻辑:类比推理

显然,CBR专家系统的底层逻辑是类比推理(在技术上表现为框架推理)。类比推理是常用的一种经验性推理,它的基础即前述“相似性原理”。而在利用框架法等知识表示方法提取案例的事实特征或者提取解决方案中的规则并将其适用于待解问题时,也会运用到归纳推理、反向推理、当然推理、设证推理等。由于CBR法律专家系统利用的是人类法律专家的经验,这些推理形式的强度和可信度以及推理整体上的有效性,仍然需要根据法律逻辑的规则和标准判断衡量(前文所述法律逻辑的特征是这些规则和标准的集中概括和反映)。

需要强调的是,CBR专家系统是对人类专家经验的模拟,其设计离不开领域专家的参与,如特征辨识、建立索引、相似度排序等,都必须借助领域专家的经验知识才能转化为机器智能。而经验知识一般都带有某种程度的不确定性,易言之,经验的成功运用并没有严格的保证。这意味着CBR专家系统的推理是一种不确定性推理,同样存在出错可能。不过,我们有理由相信,一个设计良好的CBR法律专家系统所作的推理可以被认可为法律上的“有效推理”。正如有学者所说,“相似问题具有相似解”只是一种启发式方法,由此得到的解决方案并不精确,但正是由于容忍了这种不足,CBR才发挥了其独特的作用,并得以构建强大的基于知识的系统。在实际应用中,如果能事先对案例库进行评估,检测其是否符合CBR基本假设(相似问题具有相似解),进而判断CBR方法的适用性,可以大大降低开发和应用的风险。

(三)大数据分析:基于计算模型的推理

1.新一代法律智能系统的兴起:机器学习和大数据的助力

早期,人工智能与法律的研究重点是使用人工智能方法识别出代表案件核心信息的法律构成要件,建立基于规则和基于案例的法律推理专家系统。现今,这两种专家系统在实践中都发挥着重要作用。但是,这些经人类“填鸭式教学”(手工输入知识)而成为“专家”的所谓的“智能系统”,特别是基于规则的专家系统,由于其自身不具备自主学习能力而始终面临着知识的瓶颈。从信息转换原理可知,没有知识就无法产生智能。没有源源不断的新知识的支撑,专家系统的智能水平就只能原地踏步、停滞不前。

具有学习能力及自适应能力是智能的一个重要标志。虽然学习不是专家系统的主要特征,但是如果需要,人们可以通过改进知识库或推理引擎来教授专家系统。也就是说,通过机器学习(machine learning)提升专家系统的能力。机器学习可以使机器自动获得知识,从而获得更多的智能,使系统的性能得到改善。尽管机器学习从20世纪80年代才正式发展起来,但是其进步很快,特别是近些年来,有关深度神经网络(deep neural networks, DNN)的研究掀起了以“深度学习”(deep learning)为名的热潮。人工智能技术借助深度学习实现了一个新飞跃。

以深度学习为代表的新一代机器学习技术的进步,其突出成就是大大提高了计算机分析处理数据的能力,人类社会从此迈入“大数据时代”。大数据开启了一场重大的时代变革。就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及观察和理解世界的方式,成为许多新发明和新服务的源泉。大数据技术对法律智能系统的研发也产生了显著影响。例如,“206系统”在2017年6月试运行时,所使用的上海刑事案件大数据资源库已汇集了 1695 万条数据,其中案例库案例9012 个、裁判文书库文书1600万篇、法律法规司法解释库条文948384条。试运行一年多后,该系统的9个数据库已包含2800万份数据资料。

机器学习和大数据技术与传统的专家系统的结合,使得基于规则和基于案例的专家系统都可以通过学习而实现能力升级。新一代智能系统往往同时采用多种技术路径。如,可以通过使用训练好的神经网络模型分析数据获得知识,进而将知识转换成产生式规则,提供给推理机在求解问题时使用。将多种智能技术结合起来的方法,最简单的是所谓的“黑盒/细线”结构(Black-box/thin-wire),复杂一些的诸如神经网络的符号化机制、“两院制结构”(Bicameral architecture)等等。

2.大数据分析过程中的建模与推理

大数据分析是从数据到信息,再到知识的关键步骤。大数据分析的过程大致可分为六个阶段:(1)业务理解;(2)数据理解;(3)数据准备;(4)建模;(5)评估;(6)部署。其中,建模最为关键。可以说,除了部署应用之外,其他环节都是围绕建模而展开。这里的“建模”,简单地说,就是对现实世界数据特征的抽象。

著名统计学家伯克斯(George Box)有一句名言:“所有模型都是错的,但有些是有用的。”“所有模型都是错的”,盖因模型是对世界的简化,而简化难免造成某些重要信息的丢失、遗漏,特别是把非线性问题简化为线性问题时,常常导致事实的扭曲和变形。易言之,模型只是对真实世界的模拟,而不是对真实世界的复制,输出值可能与真实世界中的实际值存在差异,因此我们不能期望模型尽善尽美。再者,运用大数据分析方法得出的推断结果,实际上是一种“预测”(prediction)而并非严格意义上的逻辑推理。大数据分析的基本原理是,基于过去的数据建立的函数模型,在接收新的信息和输入后,会得到对应的输出,这个输出值(函数值)是对业务场景中的缺失信息进行填补,或者说是对未来的趋势进行预测。虽然大多数时候我们很难相信这是预测,但从本质上说,它就是预测。申言之,与依靠知识表示和推理作出决策的专家系统不同,包括深度学习在内的各种机器学习算法,都是基于过去的数据并利用某种归纳偏好(inductive bias)预测未来的趋势。任何一个有效的机器学习算法必有其归纳偏好,否则,它将被假设空间中看似在训练集上“等效”的假设所迷惑而无法产生确定的学习结果。通过训练样本数据使计算机产生某种归纳偏好,可以产出它认为“正确”的模型和预测结果。实践证明,大数据分析在很多业务场景中都有惊人的表现,也就是说,模型是有用的。

由于大数据分析可以帮助获取信息,找出海量数据背后隐藏的规律,甚至可以与传统的法律专家系统相结合,在基于规则或基于案例的推理的基础上作出决策,因此,尽管大数据分析并非严格意义上的逻辑推理,但我们仍然可以按照前述数学家波利亚所谓“合情推理”的观念,将这种对未来的预测方法称为“基于计算模型的推理”。阿什利教授指出,大部分人工智能与法律研究的目标是开发法律推理的计算模型(computational models of legal reasoning),用于法律论证检索以及预测法律纠纷的结果。这一论断与新一代法律智能系统的研究现状非常切合。以“206系统”为例,其“类案推送”功能即采用机器学习方式,通过深度神经网络自动抽取各类法律文书中的案件信息,构建深度神经网络模型。该功能可根据案由、证据组成情况,运用智能搜索引擎,从海量刑事案件信息资源库中查找最相似的案件进行自动推送,供办案人员参考。该系统的量刑参考功能也基于同样的原理,建立量刑预测模型,为检察官提出量刑建议并为法官量刑提供参考,从而起到规范量刑、减少量刑偏差和量刑失衡的作用。

3.大数据分析的逻辑基础:复杂问题的初步分析

按照学界通行的定义,大数据(Big Data)泛指海量的数据集。由于大数据规模之“大”,使得大数据分析不同于传统的统计推理,而近似于以“上帝视角”对事件整体作全景观察。在某种意义上,可以说,这种推理是一种超越人类尺度的推理。海量数据背后所反映的究竟是某种因果关系还是仅仅是一种相关性,就人类目前的认知能力而言,往往难以确定。但从AI技术的角度看,大数据分析仍然是对人类智能的模拟,因此仍可以按照人类的推理形式并以之为参照来分析大数据的“逻辑”。

(1)大数据分析属于归纳推理

如前所述,大数据分析通过训练样本数据使机器产生某种归纳偏好,进而产生“正确”的模型和预测结果。由于大数据分析是基于归纳偏好对未来进行预测,因而可以视之为归纳推理。尽管有人认为大数据的模式是全样本分析,但机器学习过程通常是基于有限的样本训练集进行的,在数据准备阶段也常常需要数据清洗,因此,大数据分析的另一个真相是:数据永远是从理论上无限的总体中抽取的有限样本。也就是说,大数据分析绝大多数时候属于不完全归纳推理。这种推理推出的结论不具有必然性,属于非必然性推理。不过,这与前述法律逻辑的特征(很多情况下属于非必然性推理)是并行不悖的。

(2)大数据分析属于不确定性推理

传统的基于规则的专家系统由于使用领域专家的经验性知识而涉及不确定性推理(CBR专家系统也是如此)。与专家系统相比,大数据分析的预测性本质决定了其更偏向于不确定性推理。不同的是,尽管基于规则的专家系统中有不确定性推理的成分,在提炼专家经验形成规则时,既有确定性知识,也有不确定性知识,但在建立“if-then”规则以后,推论基本上是确定的。而大数据分析的“归纳学习”(inductive learning)属性,意味着其前提和结论都具有不确定性,推理时所用的知识不都是精确的,推出的结论也不完全是肯定的。当然,由于法律推理是为法律决定的正当性提供理性基础的证明活动,而并非像常规科学那样旨在探索唯一确定的答案,也就是说,法律推理要求的是“合情推理”,因而,大数据分析的不确定性推理可以为法律逻辑所接受。

(3)大数据分析中的概率推理

不确定性源于现实世界中的事物及事物之间关系的复杂性。由于客观上存在的随机性、模糊性以及信息的不完备性,导致人们对事物的认识往往是不精确、不充分的。这种认识上的不确定性反映到知识及由观察所获得的证据上,就分别形成了不确定性的知识和不确定性的证据。处理不确定性的方法主要有两种:一种是概率论的方法,另一种是模糊逻辑的运用。

在日常生活中,人们在作出决策时经常运用到概率推理。法律领域也常常要处理概率问题(法律领域的概率问题主要源于信息的不完备性而非随机性),例如刑事诉讼的“排除合理怀疑”和民事诉讼的“盖然性规则”等。由于人类大脑使用的语言并不是数学语言而是统计学语言,或者按照现代认知科学的说法,人脑信息处理的主要类型是“多元变量统计”,大多数人在大多数时候对概率的估算都是主观的而不是分析性的。在法律实践中,法官对事件发生概率的推断即通过其“内心确信”而非通过数值计算来完成。

与人脑对概率问题的“软计算”(模糊推断)不同,在AI领域,概率推理具有相对严格、完善的理论基础和数学描述。1988年,加州大学洛杉矶分校计算机科学教授珀尔(Judea Pearl)出版《智能系统的概率推理》一书,将贝叶斯网络(Bayesian networks)方法引入AI领域。贝叶斯网络是让计算机得以在“灰色地带”进行思考的第一个工具,较好地解决了因果推断(原因和结果之间的概率联系)问题。此后,概率论方法被广泛用作度量不确定性的重要手段。除了贝叶斯网络,人们在概率论的基础上又发展出其他方法和理论,如可信度方法、证据理论(D-S理论)、主观贝叶斯方法等等。特别是近年来,随着数据挖掘技术的发展,在获取事件的先验概率和条件概率的数据方面,减弱了之前概率论方法受到的限制,大大拓展了概率推理的运用空间。

当然,概率论方法虽可表示和处理现实世界中的某些不确定性,在人工智能的不确定性推理方面占有重要地位,但它并没有把引发不确定性的另一更重要、更普遍的原因,即事物自身所具有的模糊性反映出来,也不能对客观存在的模糊性进行有效处理。对此,加州大学伯克利分校电气工程与计算机科学系教授扎德(Lotfi Zadeh)提出的模糊集合理论以及在此基础上发展起来的模糊逻辑弥补了这一缺憾。

(四)法律智能系统中的模糊推理和模糊逻辑

生活不是简单的非黑即白、非杨即墨,而是有许多模糊地带。世界中的模糊性普遍存在。在法律实践中,也常常需要运用模糊判断。例如,处理“情节严重”“显失公平”“明显不当”“主/次责任”等问题时,离不开模糊推理和模糊逻辑。以交通事故损害赔偿案件为例,法官需要根据交通行政执法部门认定的“全责、主要责任、次要责任、同等责任、无责任”五种情形之一确定具体的责任分担比例。其中,“全责、同等责任、无责任”比较容易处理,而“主/次责任”因其语义的模糊存在很大不确定性。在解决此类问题时,可根据责任双方涉及机动车、非机动车或行人的情况,将责任比例抽象为一个模糊集合{6:4, 7:3, 8:2, 9:1},一个简单的四元素有限集,然后再根据个案的具体案情选择某种责任分担比例并作适当调整(综合考虑受伤程度、违法情节、车辆投保、当事人履行能力等因素)。这种过程性知识并不见诸任何成文法规范,在实践中却常常为法官所用(当然,大多数法官并没有明确意识到其运用的是模糊推理和模糊逻辑)。

法律智能系统运用模糊逻辑模拟人类的这种模糊推理,以处理广泛的模糊性问题。模拟的方式既可利用专家经验直接提炼模糊产生式规则,构建适用于专家系统的模糊推理,也可以通过对海量法律文书的分析建立模糊推理模型,并以之为前提推导出一个近似的模糊判断。在后一种模糊推理中,推理过程变成了函数计算,因而很适合在现有的计算机上实现。简言之,模糊推理是将自然语言与模糊变量的计算融合起来,用语言变量取代或者辅助数值变量,变量间的简单关系可以用模糊条件句(若A,则B)来刻画,复杂关系则借助模糊算法描述和处理。

“模糊逻辑之父”扎德曾经将模糊逻辑称为“词语计算”(CW-Computing with Words)和“软计算”。由于模糊逻辑是一种“近似”而非“精确”的推理方法,因此非常适合于包括法律领域在内的涉及人文因素的复杂系统。在法律领域,信息和知识的不确定性很多是由模糊性引起的(法条中的“不确定法律概念”俯拾皆是),这使得对模糊推理的研究格外重要。自1965年扎德发表“模糊集合”的著名论文以来,模糊推理和模糊逻辑的理论与技术,包括它们在法律智能系统中的应用,都取得了很大进步。当然,该领域还有许多尚待研究的问题,比如在模糊推理中建立隶属函数仍然属于比较困难的工作。

综上,法律智能系统的推理可概括为前述四种基本的推理方法,每种方法涉及到的具体推理形式相当复杂,特别是在处理不确定性问题时,推理的有效性需要运用概率理论和模糊逻辑进行判断。这表明,法律智能系统运用的逻辑和推理,已经不能为现有的法律逻辑学所涵盖。因而,相比较而言已显滞后的法律逻辑研究需要迎头赶上,在相关领域进行拓展。


四、法律智能系统的说理:以“解释”替代“论证”


法谚云:“正义要实现,还要看得见。”逻辑合理性和程序合理性两个问题往往相互交织在一起,逻辑合理性也需要以人们能够感知的方式予以呈现。习近平总书记指出,“深化法治领域改革……要围绕让人民群众在每一项法律制度、每一个执法决定、每一宗司法案件中都感受到公平正义这个目标”。有关部门也一再强调,要加强行政决定和司法裁判的论证说理。这些要求当然也应适用于智能系统作出的决定。智能系统的论证说理水平直接影响其决定的可接受性。

(一)法律智能系统面临的论证困境与解决出路

各种各样的法律智能系统,其载体均为电子计算机。随着计算机在我们的生活中变得无所不在,人们很快有了计算机无所不能的感觉。但令人失望的是,事实并非如我们所想象。同任何工具一样,计算机也有能力上的局限。可计算性理论(computability theory)表明,世界上只有一部分问题,并且是一小部分问题,才能通过计算找到答案。可计算性的限制为法律智能系统划定了能力边界。

人工智能(AI)概念的发明人麦卡锡曾经指出:“实现人类水平的机器智能是AI研究的长期目标。”但是从当下来看,法律智能系统的研发和使用无法脱离AI技术的整体发展水平,即使是理论上的可能性与技术上的可行性之间也存在巨大的鸿沟。迄今为止,AI技术在司法领域的运用还处于试验探索阶段,法律智能系统只能直接用于处理简单案件。整体而言,法律人工智能的发展同预期目标还相距较远,只能作为司法和法律服务的辅助系统,在有限的领域处理单项的推理任务或发挥其他较为初级的作用。

具体而言,只有允许事后听证与说理并提供救济与纠错程序的法律决定才适用智能系统。需要严格按照对话式论证作出决定的场景,无法直接适用智能系统,这是人工智能在法律领域可适用的限度。尽管有人声称阿什利开发的“海波系统”可以进行法律论证,但实际情况是,该系统在检索相似案例的同时,仅能提供支持另一方当事人的反例(如果有的话),以削弱相似案例的说服力,而非真正的展开对话式论证。关于这一点,阿什利本人也明确承认:尽管有关论证的计算模型是人工智能法律研究的巅峰,但能够提供法律从业者可以信任的法律解释和法律论证的智能系统还不存在。在现阶段,法律智能系统能做的还只是“论证检索”或称“新型概念信息检索”,即为论证提供相关信息。另一为人们所津津乐道的“罗斯法律问答系统”(Ross Intelligence, 2015),虽然能使用自然语言提供有关法律问题的简明答案,但尚不能帮助用户作出论证。

概言之,法律智能系统在适用范围上存在限制。这主要有两方面的原因,一是技术实现能力的不足,二是法律实践的特性之要求。

以司法裁判辅助系统为例,智能裁判系统并没有直接接触当事人,它处理的对象是司法人员输入的信息。而且,由于智能裁判过程是在极短时间内完成的,这就使得整个裁判是个“一次性”过程。在此过程中,裁判系统只能被动地接受和识别信息,而不能与当事人进行互动筛选信息。这就违反了司法的“亲历性”特征。也就是说,直接使用法律智能系统进行复杂案件的裁判,有违司法过程的原理。

从技术能力角度说,一旦涉及到价值选择和价值判断,法律智能系统的短板就暴露无遗。例如,海波系统及其升级版都没有考虑法律规则背后的目的和价值,这些早期的基于案例的推理模型因不能进行目的论推理而受到诟病。法律智能系统无法处理“道义逻辑”问题。尽管一直有人尝试对价值规范进行数值化处理,但这种努力至少就现阶段来说是过高估计了计算机对那些不可计算问题的计算能力。此外,人工智能系统缺乏常识、无法理解人类语言的真正涵义,这两个问题也构成法律论证计算机化的关键障碍。申言之,即使在法律智能系统可处理范围内的案件,要求其像人类法官一样“阐明事理”“释明法理”“讲明情理”“讲究文理”,这种高标准的法律论证在技术上也无法实现。

无疑,应当让人类和计算机去做那些他/它们各自所擅长的事情,而不是相反。应当说,走出法律智能系统论证之困境的出路还是有的。那就是,根据现阶段人工智能的能力范围,实事求是地将论证的要求“降维”成解释。论证是正式的说理;解释是非正式的说理。易言之,对法律智能系统的论证要求,需要放弃对话式、商谈与论辩中说理的方法和复杂的修辞方法,只要求对推理过程作出解释。因为,现阶段的法律智能系统仅能对其推理过程予以说明,论辩的方法和修辞的方法都超出了其技术能力。对法律智能系统来说,这些要求属于强“人”所难。

(二)法律智能系统的解释与方法

根据智能系统自身的解释能力以及解释过程是否需要人工介入,可以将解释分为两类:机器的智能解释和用户的协同解释。

1.机器的智能解释

一般来说,基于规则的专家系统能够“解释”它们是如何得出结论的。专家系统与普通计算机程序相区别的一个重要特征是:专家系统具有解释功能,它通常包括了一个解释装置(解释器),由其负责解释专家系统的推理过程,并回答一些关于系统本身的问题(如系统如何组织和管理知识等)。对专家系统来说,解释能力与知识表示和推理一样必不可少。在设计环节,专家系统解释其推理路线的能力即被认为是一条重要的知识工程原则。专家系统的解释能力已成为衡量系统智能程度的主要标志之一。

解释工作与问题求解所用知识及求解过程密切相关,这是生成解释内容的基础。据此,基于规则的专家系统需要解释的内容主要指向产生式规则的运作,包括知识库中的启发性知识和综合数据库中认定的事实,以及从“If”到“Then”的推理过程。为了保证解释的有效性,需要确定合适的用户模型。也就是说,解释必须考虑用户的特殊性,以满足不同用户的解释需求。利用用户模型可提供具有实际意义的解释。在确定用户模型时,需要考虑的因素包括用户的知识水平、交流目标、对话历史和用户爱好等。要提高解释质量,还必须考虑解释方式和实现的方法。常见的解释方法有预制文本法、跟踪解释法、新闻解释法、重构解释法、策略解释法等等。这些解释方法各有其优缺点,实践中常常结合使用。

现有的研究表明,CBR专家系统在解释能力上并不亚于,甚至在某些时候还明显优于基于规则的专家系统的解释。CBR专家系统可以利用案例天然具有的作为解释基础的特性,帮助用户理解系统的推理过程。CBR解决问题是基于案例间的相似性,这同时也是系统生成解释的关键。最相似的案例可以作为解释的基础;在仅提供相似案例不能使用户满意时,可借助“知识集装箱”(knowledge containers)技术,从词汇、相似性度量和适应性知识(vocabulary, similarity measures and adaptation knowledge)等角度作出辅助解释。毕竟,CBR系统的设计虽然不需要深度的一般性知识,但知识密集型CBR系统的应用日益广泛,加强科学、概念和认知等方面的知识解释也是一个发展趋势。

对专家系统解释机制的研究很快扩展到其他类型的智能系统。运用大数据技术的智能系统如何解释其分析和预测的结果呢?由于不存在一套通用的大数据解决方案,任何行为、任何领域的大数据成功应用,都要针对具体的数据、具体的场景进行分析建模,解释的方法因而多种多样。目前,在解释大数据分析结果时,常引入可视化技术。“一图胜千言”,可视化技术用直观的图形方式显示尽可能多的信息,并将分析结果以肉眼可见的方式予以展示,使用户更易理解和接受。

需要指出的是,在运用大数据分析技术时,具有“黑箱”特征的深度神经网络(DNN)等深度学习方法的可解释性较弱,目前只能作某些局部的、粗粒度的概括解释。在此情况下,就需要由智能系统的用户参与到解释过程之中。

2.用户的协同解释

从理论上说,智能系统的解释是对人类交流方式的模拟,其目标是达到一种无障碍交流的自然解释,并最终实现超越人类解释的“智能解释”。不过,目前,机器的解释能力是有限的。在很多场景中,对于智能系统所作的决定,离不开用户的协同解释。在协同解释中,用户被视为智能系统当中机器之外的另一个“Agent”。让用户介入解释的生成是必要的,需要改变用户在智能系统使用中的被动角色。在人机协同的合作关系中,机器和用户都起着信息提供者和支持者的作用。

用户的协同解释首先表现为智能系统使用主体或管理主体的解释。关于解释的内容,负有解释义务的主体应当遵循法律决定说理的一般要求,即遵守说理的黄金圈规则(3W规则)。除了阐明法律决定“是什么”(what),还应当对“为什么”(why)以及“如何作出的”(how)予以解释。其中,“why”和“how”是解释的核心问题,这两者亦分别对应法律问题和技术问题的解释。对技术问题的解释,即智能系统是如何作出决定的,如果不能详细说明其推理过程(例如使用了深度神经网络的机器学习技术),至少应当作出局部解释和粗粒度的概括解释,而不能不提供任何理由。不难理解,一个附具“理由”(reason)的法律决定才是合理的(reasonable)可接受的决定。

需要指出的是,还有一种因使用法律智能系统引发的需要相关人员作出“反常解释”的解释,即运用法律智能系统从事监督审查时涉及的对象需要对其可疑行为进行解释。最典型的当属“案件审判质量评估系统”。这种智能系统是利用海量案件折射的法官的集体经验和智慧来规范个别法官的个案裁量,以防止畸轻畸重或枉法行为。系统利用大数据对案件进行偏离度分析,当某案件裁判的偏离度超过设定阈值时,主审法官需要对裁判结果提供合理的解释。


五、结语:法律智能系统的未来


目前,新一代人工智能系统已广泛采用混合智能技术路径。混合智能系统要取得用户的信赖并被用户接受,就必须有易解释、多层次、相兼容的解释器或解释系统。在大多数情况下,用户很少知道也很少关心系统使用的是产生式规则还是深度神经网络或者其他模型。他们仅仅想知道结果是如何得出的,并希望以一种可理解、友好型的方式为其提供有益的信息。有鉴于此,新一代法律智能系统的推理过程及其运行逻辑,是本文努力探索并尝试梳理清楚的核心问题。

在研制法律智能系统时,在模拟人类的法律推理并借助机器实现自动化推理的过程中,AI技术专家对法律推理的独特理解,的确可以为法学研究提供某些方法论上的启示。特别是,在法律实践中,虽然模糊推理广泛存在,但现有的法律逻辑学鲜有论及。这意味着,智能系统所运用的推理方法可以帮助法律人跳出传统的研究视野和思维定式,运用跨学科视角重新审视法律逻辑,这必将有助于进一步提升智能系统的研发水平。

法律智能系统的研发需要“三结合”,即需要法律实务专家、法律逻辑学家和技术专家的密切合作。智能系统的构建需要借助法律实务专家的经验知识,由知识工程师、技术专家将其转化为产生式规则或利用大数据技术进行建模。在这个将知识有效组织、关联起来从而产生机器智能的过程中,离不开法律逻辑学家的参与。尽管在当下的研发过程中,法律专家(法官、检察官等)同时扮演着法律实务专家和法律逻辑学家的角色,但从长远来看,专业法律逻辑学家的介入更有助于提升智能系统的研发水平。我们有理由相信,一个有技术专家、法律实务专家和法律逻辑学家共同参与而设计良好的智能系统,能够成为人类法律专家集体智慧的“化身”,可以超越任何单个人类法律专家,成为可信赖的法律智能系统。

法律智能系统的发展方向是“人机结合”或“人机协同”。人类和计算机在解决问题时各有所长。在推理过程中,人的价值判断和价值选择的能力非机器所能及,但人的记忆能力、信息处理能力和准确性又比不上机器。在展开说理时,人类将“情理法”结合起来的能力,机器能否学习以及在何种程度上可以习得,还存在未知数。维纳曾言:“人有人的用处。”在可预见的将来,智能系统不会取代法律人,而大概率会走向“法律智能决策支持系统”的发展路径。因为,人机结合发挥协同作用,将会大幅度提升人和机器各自的价值与能力。或许,真如某些未来学家所言,人机结合既是人工智能的未来,也是人类进化的方向。



    进入专题: 法律智能系统   逻辑推理   论证说理  

本文责编:陈冬冬
发信站:爱思想(https://www.aisixiang.com)
栏目: 学术 > 法学 > 宪法学与行政法学
本文链接:https://www.aisixiang.com/data/134189.html
文章来源:本文转自《中国法学》2022年第3期,转载请注明原始出处,并遵守该处的版权规定。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2023 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号-1 京公网安备11010602120014号.
工业和信息化部备案管理系统