覃子轩:“AI幻觉”侵权的司法规制现状及展望

选择字号:   本文共阅读 59 次 更新时间:2026-07-12 00:30

进入专题: AI幻觉   生成式人工智能   侵权责任  

覃子轩  

内容提要:“AI幻觉”系人工智能自主生成的虚假信息,可能侵害个人、组织的合法权益,已成为技术和行业发展必须认真对待的风险。但因为生成式人工智能存在算法过程不可见、输出结果自主性高等特点,侵权责任认定面临一系列难题。杭州法院近期审理的两件民事案件,通过不正当竞争责任和一般侵权责任两种路径,在“AI幻觉”的归责原则、责任主体的分型、侵权客体的扩张、注意义务的内容等方面作出有益探索,厘清了有关理论争议。对“AI幻觉”侵权责任认定,应当明确生成式人工智能服务提供者的民事责任主体性质,并区分直接侵权与间接侵权两种类型。为避免出现“责任鸿沟”,可按照最有效控制原则确定责任主体,并按照功能服务的不同,合理设置相关主体的前端防范义务和后端防止义务。在民事诉讼中,还可从证据获取和举证责任缓解等方面完善规则,解决原被告举证能力悬殊问题,以利于案件事实查明。

关键词:“AI幻觉” 生成式人工智能 服务提供者 使用者 侵权责任

一、引言

《中华人民共和国国民经济和社会发展第十五个五年规划纲要》明确提出:“完善人工智能领域法律法规、政策制度、应用规范、伦理准则,健全算法备案、透明度管理、安全评估等制度,探索建立人工智能生成物权利归属和开发者经营者使用者权责认定规则。”在人工智能治理格局中,虚假信息问题尤为突出,规制人工智能生成与传播虚假信息已成为网络空间治理的重要议题。2026年1月,中央政法工作会议明确要求,依法打击利用人工智能技术生成、发布虚假信息等行为。

有学者将人工智能分为物理交互型人工智能和信息交互型人工智能,而人工智能生成的虚假信息风险主要发生在信息交互型人工智能场景中。现实生活中,人工智能虚假信息分为两种:一种是使用者利用人工智能技术人为制造和传播虚假信息;另一种则是人工智能自主产生的虚假信息。前者如“AI换脸”“AI拟声”、深度伪造等,人工智能是生成虚假信息的工具,虚假信息的来源是使用者,责任较为明确且容易厘清。后者则被称为“AI幻觉”,主要指生成式人工智能对用户指令输出的内容与真实信息不符,存在逻辑矛盾或偏离用户指令的问题,甚至纯属“虚构”。统计显示,各大语言模型的“幻觉率”介于1.8%至24.2%之间。故普遍认为,“AI幻觉”是生成式人工智能的技术瓶颈,也是产业发展中的顽疾。

“AI幻觉”产生的虚假信息在互联网传播,给网络空间治理带来诸多挑战。我国多部法律、行政法规及部门规章对网络虚假信息作出了禁止性规定。例如,2025年修正的《网络安全法》第13条明确规定,任何个人和组织不得利用网络编造、传播虚假信息。《生成式人工智能服务管理暂行办法》第4条进一步规定,提供和使用生成式人工智能服务不得生成虚假有害信息。《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等涉算法、网络信息技术的部门规章,对规制网络虚假信息提出了具体要求。

“AI幻觉”现象也给司法工作带来显著影响。一方面,诉讼参与人向法院提交的证据包含人工智能生成的虚假或错误的案例和法条,可能对诉讼秩序造成破坏。人民法院案例库收录的“任某璐诉曹某、北京某国际旅行社有限公司与公司有关的纠纷案”(入库编号:2025-18-2-494-001)裁判要旨明确:“诉讼参与人提交通过人工智能技术获取且未经甄别核实的虚假案例的,应当承担相应的法律后果。”美国堪萨斯联邦地方法院亦在一件专利侵权案中,因律师提交生成式人工智能编造的虚假案例而对其实施制裁。另一方面,“AI幻觉”可能侵害个人、组织合法权益,给侵权责任认定带来新的法律适用难题。例如,人工智能向用户推荐商户时生成具有贬低性的虚假消费评价信息,导致商户声誉受损。又如,向用户推荐治疗方案时生成有误的医院信息,导致用户作出错误决策、延误就医时机等。不同于人为利用人工智能技术实施侵权的情形,生成式人工智能在一定程度上超越了技术的工具属性,显现出自主性潜能,对侵权责任认定产生一定影响。

此前,由人工智能算法引发的侵权纠纷案件已见诸报端,主要涉及搜索引擎的算法补足功能,以及自动化决策的算法推荐功能等。算法补足功能生成错误信息损害他人合法权益的情形,与“AI幻觉”有一定相似性,案件争议焦点也多为服务提供者是否应当承担法律责任。但相较而言,“AI幻觉”侵权的表现形式和背后成因都更为复杂,在侵权主体、行为、后果认定等方面,与算法补足功能引发的侵权责任纠纷有较大不同。在此背景下,厘清“AI幻觉”侵权案件的处理规范,对探索完善人工智能治理规则、明确责任边界,具有积极意义。

2025年12月,杭州法院审结两件涉“AI幻觉”的案件:杭州滨江区法院审结的“阿某集团控股有限公司等诉李某华不正当竞争纠纷案”(以下简称“李某华案”),涉及对生成式人工智能使用者的责任认定;杭州互联网法院审结的“梁某诉某科技公司网络侵权责任纠纷案”(以下简称“梁某案”),涉及对生成式人工智能服务提供者的责任认定。2026年3月,南京中院二审审结“‘AI幻觉’生成律师被判刑谣言案”,同样涉及对生成式人工智能服务提供者的责任认定问题。2026年5月28日,德国慕尼黑第一地区法院作出一份临时禁令,认定谷歌需要对其AI搜索中的幻觉错误承担直接责任;即便AI提供了信息来源链接,并提醒用户“AI回答可能存在错误”,也不足以成为免责理由。上述国内外法院审理的相关案件,对“AI幻觉”侵权的责任认定规则作出有益探索,丰富了“AI幻觉”治理的法律手段,在理论上也具有重要的学术研究价值。其中,德国慕尼黑法院的临时禁令并非终局判决,且与此前德国另一地区法院在类似案件中作出的驳回临时禁令的裁决不一致,说明德国法院对此尚未形成统一立场;南京一案生效判决认为,生成式人工智能服务提供者对“AI智能回答”的侵权内容具有过错,说明“AI幻觉”不能成为免责事由。该两案的处理有类似之处,但若提炼成清晰的裁判规则,仍需对归责模式、责任主体界定等基础问题作出深入探讨。鉴于杭州两案对如何确定侵权责任有更加深入且专门的阐述,故本文主要以杭州两案为基础,分析案涉法律适用及理论问题,以供实务界和理论界参考。

二、两件“AI幻觉”侵权案件概况

总的来说,杭州法院审理的两案均涉及“AI幻觉”类虚假信息,但案件事实存在差异,适用法律也有所不同,需要具体分析。

(一)基本案情及审理结果

1.“李某华案”

李某华在其运营的某度百家号发布题为《阿某数字控股有限公司是真的吗》的文章,称阿某数字控股有限公司与阿某集团公司关系密切。实际上,二者并无关系。案情显示,该文系李某华通过某生成式人工智能应用程序生成,其在发布前未对文章内容进行核实,仅在后台标注AI生成,但该标注不对公众可见。阿某集团公司等以不正当竞争纠纷为由向法院起诉,请求法院判令李某华消除影响,并赔偿经济损失50万元。杭州滨江区法院经审理认为,李某华使用生成式人工智能生成内容并向公众传播,其作为经营者,未依法履行显著标识义务、对生成内容真实性未予审核,造成因“AI幻觉”生成的虚假信息在互联网传播,其行为损害其他经营者合法权益、扰乱市场竞争秩序,构成不正当竞争,故判决李某华在其经营的账号发表书面声明、消除影响,并赔偿阿某集团公司等3万元。

2.“梁某案”

梁某是某生成式人工智能应用程序的用户(使用者),在输入提示词询问某高校报考的相关信息时,该应用程序生成了关于该高校存在某校区的不准确信息。梁某发现后,在对话中进行了纠正,其仍继续回复称该高校确实存在这一校区,并提出若生成内容有误将赔偿10万元。之后,梁某再次纠正,该应用程序承认生成了不准确信息,并建议梁某到杭州互联网法院起诉索赔。梁某遂以侵权责任纠纷为由,向杭州互联网法院起诉,请求法院判令该应用程序的服务提供者赔偿损失9999元。杭州互联网法院经审理认为,该应用程序的“承诺”不产生意思表示的法律效力,服务提供者已尽到合理注意义务,不存在过错,依法不应认定构成侵权,故判决驳回梁某的诉讼请求。

(二)法律适用难点

归结而言,涉“AI幻觉”案件的法律适用问题主要在归责原则和责任主体界定等方面。

1.归责原则存在争议

生成式人工智能侵权对传统侵权法理论提出了新挑战。学界对生成式人工智能侵权的归责路径有多种观点。有学者认为,人工智能侵权面临责任主体归属难辨、主观过错判断困难、因果关系难证明、损害后果不确定等特殊性问题,难以适用传统的一般侵权责任理论,只能转而适用特殊侵权责任,主张将人工智能侵权设置为一种独立的新型特殊侵权责任,构建复合归责体系。也有学者认为,可以在现有一般侵权责任框架下寻求解释空间,虽然生成式人工智能侵权具有特殊性,但并不意味着要在法律上将其视作一类特殊的侵权并适用特殊的归责原则,更宜采纳过错责任原则。还有学者认为,生成式人工智能应用虽然不具有高度危险性,但考虑到受害人的举证困难以及现有制度基础等因素,应当适用过错推定责任。此外,有学者认为,只有人类存在主观意志及过错问题,而物或工具的问题主要是产品安全与质量问题。还有学者通过类比产品责任理论,将服务提供者视为“算法产品”的制造者,主张其对生成内容承担无过错责任。

在实践中,侵权责任以过错为核心,但因为人工智能具有“算法黑箱”、人机交互等技术特点,使得对侵权人主观意图的识别变得非常困难,对于损害后果归因的判断更加复杂,如何救济也面临一系列挑战。特别是,当人工智能输出偏离预期并不表征系统存在研发或应用错误时,受害人要证明人工智能相关主体具有过错就更加困难。也有学者认为,在人工智能侵权问题上应跳出传统主观过错、因果关系的判断范畴,转向以注意义务设置为核心的判断规则,但在注意义务的内容设置上难以达成共识。例如,《人工智能生成合成内容标识办法》第4条和第10条分别规定了服务提供者和用户对于生成合成内容的标识义务,但该规定能否作为注意义务的具体内容、违反标识义务是否作为民事责任认定的依据,仍然缺少相应规则。

2.责任主体难以界定

一方面,造成“AI幻觉”的成因复杂,涵盖设计阶段的数据预处理、部署阶段的数据提示与应用阶段的用户行为等影响因素,所涉环节包括训练数据、算法逻辑、语料喂养、集成应用、用户指令等多个方面。每个环节的参与者都可能对生成式人工智能产生幻觉的行为造成影响,难以清晰划分责任主体。

另一方面,现行法规体系对人工智能责任主体的规定仍然较为原则,认定相关主体民事责任的法律依据稍显不足。《生成式人工智能服务管理暂行办法》将生成式人工智能的责任主体分为“服务提供者”和“使用者”两类,并主要对服务提供者的责任作出规定。而我国《民法典》未直接明确生成式人工智能服务提供者的民事主体地位,只是在第1194条专设了“网络服务提供者利用网络侵害他人民事权益”的规定。能否将生成式人工智能服务提供者定义为网络服务提供者,以适用该条规定,学界存在不同观点,司法实践也未有一致认定。

(三)司法规制特点

杭州法院审结的两件“AI幻觉”案件,对法律适用问题作出有益探索,厘清了有关理论争议。

1.归责模式的异同

在前述两件杭州法院审理的“AI幻觉”侵权案件中,采用了不正当竞争责任和一般侵权责任两种不同的规制路径,分别适用《反不正当竞争法》第2条和《民法典》第1165条。路径看似不同,实则殊途同归,均是通过现有法律体系中的一般条款予以调整。

关于规制路径的选择,在“李某华案”中,李某华系发布案涉文章账号的运营者,且与原告同属于电商业务的经营者,故原告选择不正当竞争责任的路径,主张其竞争性利益受到损害,请求李某华承担损失赔偿责任。法院经审理认为, 案涉行为不构成《反不正当竞争法》规定的类型化不正当竞争行为(如商业混淆、虚假宣传),亦不属于《专利法》《商标法》《著作权法》等知识产权专门法规定的情形,但该行为违背商业道德,扰乱市场竞争秩序,损害了其他经营者的合法权益,根据《反不正当竞争法》司法解释有关规定,可以适用《反不正当竞争法》第2条的一般条款予以评判。在“梁某案”中,梁某为自然人,没有经营行为,原告主张的损失也不涉及竞争性利益、经营性利益等要素,故选择追究侵权责任的路径,主张生成式人工智能向其提供错误信息的行为构成误导,请求作为服务提供者的某科技公司承担损失赔偿责任。该案中,法院分析了一般侵权责任与产品责任的适用条件,指出生成式人工智能属于服务而非产品,不能适用产品责任,而应当适用一般侵权责任。

实际上,不正当竞争责任和一般侵权责任均属于行为法规制路径,二者除了在责任主体和损害客体方面有所不同之外,对于行为本身的性质判定并无实质区别。特别是,在归责原则方面,杭州两案均依循了过错责任原则。在“李某华案”中,法院适用《反不正当竞争法》第2条,按照主观、客观方面进行分析,对李某华的主观过错作出判断,认为其在明确知晓案涉文章系人工智能自动生成、信息来源不可靠的情形下,仍未对文章内容进行最低程度的真实性审核且未作出显著的提示标识,具有主观过错,并在此基础上评价其行为的性质。在“梁某案”中,法院对生成式人工智能服务提供者的过错评判作出充分说理,认为服务提供者某科技公司不承担对一般性信息的严格审核义务,对服务功能局限尽到了显著提示义务,对算法技术的可靠性尽到了基本注意义务,故对生成虚假信息的结果不具有过错。由此可见,司法实践对“AI幻觉”侵权责任认定采取传统的过错责任原则。

2.责任主体的分类

杭州两案对“AI幻觉”侵权责任认定的最大区别,在于生成式人工智能服务提供者和使用者的责任划分。

如前所述,关于生成式人工智能服务提供者的责任主要见于《生成式人工智能服务管理暂行办法》等规范性文件,《民法典》并未明确服务提供者的责任主体地位。“梁某案”生效判决对生成式人工智能服务提供者适用《民法典》有关一般侵权责任的规定,同样未将其归入《民法典》第1194条规定的网络服务提供者范畴,而是确认了生成式人工智能服务提供者具有独立作为侵权责任主体的资格。这对确定相关案件法律责任主体具有积极的指导意义。

“李某华案”则提出了生成式人工智能使用者的责任认定方法。《生成式人工智能服务管理暂行办法》第4条规定了使用者不得利用生成式人工智能生成虚假信息,但对于“AI幻觉”生成虚假信息的情形是否可以对使用者归责,尚处于模糊地带。有学者认为,即便使用者对生成虚假信息不存在故意行为,也未必不构成过错,使用者无注意地使用且传播此类信息可能造成侵权结果。而“李某华案”生效判决援引《人工智能生成合成内容标识办法》和《互联网信息服务深度合成管理规定》,将使用者对生成内容的显著标识义务纳入过错认定的考量因素,并补充了使用者对生成内容真实性的审核义务,使得使用者对“AI幻觉”承担侵权责任的认定标准得以周延。

3.侵权客体的扩张

从实践反映的情况看,以生成式人工智能技术实施侵权的客体范围广泛、侵害法益类型众多。生成式人工智能侵害的对象主要是以人格利益或智力成果为客体的民事权益,如肖像权、姓名权、名誉权以及著作权。随着生成式人工智能应用场景越来越广泛,由此引发的风险和侵权类型将呈现扩大的趋势,并带来新的侵权形式,也使侵权类型更趋多样化。对于“AI幻觉”,其产生的错误、虚构或误导性信息的危害,主要是误导用户或他人决策,导致机会的损失。换言之,从输出内容的错误到损失这一链条中,如果受害人对虚假信息产生信赖,并基于信赖而采取行动,这一因素的介入才会产生实际损害后果。因此,就“AI幻觉”本身,其侵害的民事权益性质上属于纯粹经济损失。在“梁某案”中,梁某主张受到的侵害是因信息不准确,致其受误导错失报考机会,额外产生信息核实成本、维权成本等,即纯粹经济利益被侵害,而非人格权、物权等绝对权被侵害。

三、“AI幻觉”侵权责任认定的重点问题

梳理上述两案的审理思路,目前“AI幻觉”侵权责任认定规则适用有一些重点问题,应当进行归纳解答。

(一)归责原则的确定

根据《民法典》第1165条第2款、第1166条之规定,无过错责任与过错推定责任仅可适用于法律有特别规定的情形。因此,若生成式人工智能未被应用于危险活动,或者未被应用于机动车、医疗器械等特定产品,则不应当适用无过错责任。其中较有争议的是,生成式人工智能本身能否被定性为产品而适用产品责任。对此,《生成式人工智能服务管理暂行办法》将利用生成式人工智能技术提供生成文本、图片、音频、视频等内容的业务界定为服务范畴,并将服务提供者界定为网络信息内容生产者。由此可见,生成式人工智能服务属于信息服务,故也受《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等规范性文件的规制。生成式人工智能服务是基于用户指令动态生成个性化内容的虚拟过程,通常不具有物理形态,也不具备功能确定的标准化产品特征,显然不属于《产品质量法》规定的“产品”。因此,对于“AI幻觉”侵权的归责原则,应当适用过错责任原则。适用《反不正当竞争法》第2条规定对“AI幻觉”作出行为性质判定的,同样也遵循过错责任原则,结合行为人的主观因素对客观行为性质作出认定。

(二)过错认定的标准

司法适用过错责任原则的难点在于过错的判断。在早期的民法理论中,对过错责任采用主观标准,即注重考量行为人致人损害时故意或者过失的主观心理状态;当代民法采用以“注意义务”为核心的过错判断方法,使得过错标准客观化。因此,注意义务的设置就十分重要。注意义务的要求越严格,侵权责任就越接近无过错责任;注意义务的要求越宽松,就越难构成侵权责任。特别是涉及生成式人工智能这类难以证明过错的领域,将注意义务作为侵权责任认定的“调节器”,通过合理配置服务提供者或使用者的注意义务,以此实现侵权责任标准的动态平衡,可以有效调节服务提供者与使用者、激励创新与保护权益的互动关系。

设置注意义务的重要理论基础是“风险与危险的二分法”,即二者的法律评价机制不同,对应的侵权归责标准也不同。法律上的“危险”是一种具体、紧迫与相对确定的威胁,属于需要紧迫救济的利益受损情况;“风险”的内涵则不同,风险活动触发对不确定性的事前制度安排,法律救济的是不确定的损害威胁。据此,引入注意义务应当考虑违反此种义务与导致侵权损害后果的“相当性”。

认定注意义务的第一种依据是法规、规章等规范性文件。生成式人工智能带来的虚假信息风险是不确定的,故法秩序对此的规制应当以事前防范为主,以降低产生损害的可能性。《生成式人工智能服务管理暂行办法》《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》等规范性文件,对服务提供者、用户(使用者)等主体的义务作出规定。例如,《生成式人工智能服务管理暂行办法》规定,服务提供者应当承担网络信息安全义务(第9条)、对使用者输入信息和使用记录的信息保护义务(第11条)、生成内容标识义务(第12条)、违法内容处置义务(第14条)等。这些义务的来源主要是《网络安全法》等公法对网络信息内容管理方面的规定,目的是监管服务提供者的行为。需要讨论的是,违反公法上的作为义务能否构成侵权法上的违反注意义务,并以此作为过错的判断标准要求其承担侵权责任?

司法实践表明,基于保护性目的的解释,即旨在保护特定主体法益并具有具体行为要求的规范,可作为判断侵权过错的依据。学界也认为,在公法的管制性规范中,防止侵害型规范以保护他人利益为目的,对侵权行为认定具有直接意义,故违反公法上义务也可导致侵权责任。因此,生成式人工智能服务提供者或者其他主体如果违反了上述法规、规章中关于网络信息安全义务、信息保护义务、生成内容标识义务、违法内容处置义务等规定,且由于其不作为导致了损害结果的发生,视具体情形可认定其存在过错。

认定注意义务的第二种依据是防范危险发生的必要措施。这类义务不必由规范文件规定,但属于行为人可以预见的避免损害后果发生的应然之举。例如,期刊在刊发文章之前需要进行必要的核校,这是确保文章没有低级或显著错误的基本义务。日常生活尚且如此,在“AI幻觉”这一技术顽疾难以根治的当下,对于生成式人工智能生成的内容,理应更加注意对内容真实性的审核。

关于履行审核义务的主体,曾有学者主张,生成式人工智能服务提供者应当履行内容审核义务,避免有害信息生成。《生成式人工智能服务管理办法(征求意见稿)》也曾要求服务提供者采取措施防止生成虚假信息。但更多学者认为,为了促进人工智能产业的发展,“原则上不宜要求生成式人工智能服务提供者对自动生成信息负有一般性审查义务”。因此,《生成式人工智能服务管理暂行办法》删去了征求意见稿的上述规定,仅在第4条第5项中柔性地要求服务提供者采取有效措施提高生成内容的准确性和可靠性。即便服务提供者不负一般性审查义务,依据危险理论,用户使用人工智能生成内容,若内容存在虚假信息,且该信息造成的威胁是具体、紧迫与相对确定的,在这种情况下,对用户(使用者)课以最基本的内容真实性审核义务并不为过,不会阻滞人工智能产业的发展。

在前文所举的诉讼参与人将包含“AI幻觉”的证据提交给法院的案例中,无论国内还是国外法院,均将提交者未对证据内容进行甄别核实,作为对其惩罚的因素之一。可见,对于人工智能生成的内容,基于危险理论原理,由有条件防止危险发生的主体承担审核义务,并将其未履行义务作为过错责任的认定标准,具有合理性。“李某华案”生效判决将生成式人工智能使用者对内容真实性未予审核这一情况,作为认定其行为构成不正当竞争的考量因素之一,正合此意。

(三)生成式人工智能服务提供者的民事责任主体地位争议的厘清

根据《生成式人工智能服务管理暂行办法》第22条第2项规定,生成式人工智能服务提供者,是指利用生成式人工智能技术提供生成式人工智能服务(包括通过提供可编程接口等方式提供生成式人工智能服务)的组织、个人。我国《民法典》等法律并未直接明确生成式人工智能服务提供者的主体地位,生成式人工智能服务提供者侵权责任的认定仍须在《民法典》侵权责任编以及其他特别私法中寻找法律依据。考虑到生成式人工智能服务是一种信息服务,最接近的条款应是《民法典》第1194条关于网络服务提供者的规定。此外,现行立法还有“网络运营商”“网络信息内容生产者”“网络信息内容服务平台”“网络信息服务提供者”“互联网信息服务提供者”等多个内涵相近的概念表述。那么,对生成式人工智能服务提供者究竟作何种私法上的定性,其是否属于网络服务提供者,从而适用网络侵权条款?

有学者认为,生成式人工智能服务与传统的网络服务提供者具有一定的相似性,都是借助互联网向用户提供网络服务,故主张将其定义为新型的网络服务提供者。当然也不乏学者认为,生成式人工智能服务提供者与网络服务提供者有别,无法用后者概念准确描述和评价。对此,在司法实践中亦有不同观点。例如,在“上海某文化发展有限公司诉杭州某智能科技有限公司侵害信息网络传播权纠纷案”中,法院认为,生成式人工智能服务提供者兼具技术服务和内容供给的双重属性,属于一种新型的网络服务。而在“梁某案”中,法院并未作此认定,而是赋予生成式人工智能服务提供者以民事责任主体资格。司法实践表明,生成式人工智能服务提供者的法律性质并非专有定义,而是随着应用场景的变化,在个案中作出具体认定。在“上海某文化发展有限公司诉杭州某智能科技有限公司侵害信息网络传播权纠纷案”中,被告运营某人工智能平台,生成了图片和模型,并在信息网络中使用,原告认为被告的行为构成对其信息网络传播权的侵害。在该案中,生成式人工智能生成内容在网络空间传播,故存在将生成式人工智能服务提供者界定为网络服务提供者的前提条件。而在“梁某案”中,人工智能生成的信息仅向用户个人提供,并没有传播行为。即使用户与人工智能交互本身使用了互联网技术,但并未形成与网络侵权相类似的行为模式,故该案并没有将生成式人工智能服务提供者认定为网络服务提供者。

(四)侵权责任的类型化构建

“AI幻觉”的侵权形态有两类:直接侵权、间接侵权。对使用者的直接侵权责任相对容易认定,较有争议的是生成式人工智能服务提供者的侵权责任认定。

1.直接侵权

《生成式人工智能服务管理暂行办法》第9条规定,生成式人工智能服务提供者承担网络信息内容生产者责任。而根据《网络信息内容生态治理规定》第41条第1款规定,“网络信息内容生产者,是指制作、复制、发布网络信息内容的组织或者个人”。一般认为,如果生成内容是服务提供者编辑、组织的,应由其自己负责;造成他人权益侵害的,则承担直接侵权责任。 “梁某案”涉及的就是生成式人工智能服务提供者的直接侵权责任。该案关于生成式人工智能服务提供者对案涉“AI幻觉”没有过错、不承担侵权赔偿责任的判决结果并无不妥,说理也十分充分。但这也引发了另一个问题:在使用者没有过错的情况下,“AI幻觉”的责任究竟由谁来承担?

实际上,关于人工智能输出信息不真实的责任承担问题,此前在涉搜索引擎的算法补足功能的侵权责任纠纷中已经出现。在这类案件中,基于生成式人工智能的搜索引擎利用模型的生成能力,对来源网站内容进行组织并提供给用户。由于算法对搜索结果进行补足的词语表达可能是负面的,从而存在引发涉名誉权纠纷的风险。已有案例通过适用侵权责任的法律规定,认定服务提供者对算法推荐的信息不具有过错,因而不承担侵权责任。对此,有学者认为,这是采纳了技术中立的抗辩意见,但将人工智能致害归咎于技术本身,会引发“责任鸿沟”问题,得出“无人应为人工智能损害结果担责”的结论。

也有学者认为,从技术逻辑出发,生成式人工智能生成何种内容、是否发生侵权结果,服务提供者绝非无力控制或完全无法预见。其可以通过提高训练数据质量、强化学习技术、优化完善模型和算法、采取安全防护等措施,在相当程度上预防和避免侵害结果发生。因此,基于生成式人工智能服务提供者能够有效干预算法应用结果的前提,其应当承担较高的注意义务。也正是出于这一逻辑,《生成式人工智能服务管理暂行办法》对生成式人工智能服务提供者规定了一系列技术性义务,如提高数据质量、优化模型训练。可见,生成式人工智能服务提供者对“AI幻觉”的产生,不可能完全没有责任。只不过,侵权责任划分需要考量导致损害产生的原因力大小。其主要难点在于,服务提供者制作模型、编制算法、数据训练、程序应用等行为,以及用户输入提示词,这一系列行为与损害之间的因果关系高度分散。

2.间接侵权

如果使用者对“AI幻觉”的产生具有过错,而生成式人工智能服务提供者虽未直接实施侵权行为,但未尽到合理注意义务,则可能构成间接侵权,即其行为属于预备行为或者扩大侵权后果的情形。此时,对于生成式人工智能服务提供者是否适用网络侵权规则,是当前理论界和实务界争议的问题。《民法典》第1195条至第1197条的“通知—删除”和“知道—删除”规则,规定了网络服务提供者在收到权利人通知或在“知道或者应当知道”侵权发生时,采取必要措施制止侵权的,可以免除侵权责任。

但是,对于生成式人工智能侵权责任能否适用网络侵权规则,学界存在不同认识。有学者认为,应类推适用“通知—删除”规则,但不适用“知道—删除”规则。因为虽然生成式人工智能侵权与传统网络侵权在侵权行为的场景、本质特征等方面具有高度相似性,具备类推适用“通知—删除”规则的正当性,但在技术层面无法用社会一般人的标准判断其是否知道或者应当知道。也有学者认为,不应适用网络侵权规则,因为生成式人工智能服务的内容生成属于服务提供者的“作为”而非“不作为”,应当就该作为本身来认定提供者有无过错;不能以“通知—删除”规则来认定服务提供者因未及时采取必要措施而具有过错。两种观点均认为不应适用“知道—删除”规则,主要争议在于“通知—删除”规则的适用。

就两种观点指向的争议问题,本文认为,对于发生网络信息传播的“AI幻觉”,生成式人工智能服务提供者转化为网络服务提供者,适用“通知—删除”规则;对于没有发生网络信息传播的则不应当适用。理由如下:(1)在网络信息传播场景下,不论服务提供者对其生成的虚假信息是否有过错,使用者对内容真实性应当负有基本审核义务;使用者未履行审核义务,属于“知道或者应当知道”内容可能侵权仍继续利用或传播,这一行为导致他人合法权益受损的,使用者应当对该损害后果承担侵权责任。此时,根据《生成式人工智能服务管理暂行办法》第14条的规定,生成式人工智能服务提供者“发现违法内容的”或“发现使用者利用生成式人工智能服务从事违法活动的”,应当采取停止生成、停止传输、消除等处置措施。在该场景下,生成式人工智能服务提供者同时也是网络服务提供者,其行为也落入网络侵权责任的规制范围,因而可以将《生成式人工智能服务管理暂行办法》第14条引至《民法典》第1195条:生成式人工智能服务提供者未采取必要措施的,对损害的扩大部分与实施侵权行为的网络用户(生成式人工智能服务使用者)承担连带责任。(2)在人工智能生成内容没有发生网络传播的场景下,只是使用者与生成式人工智能服务提供者之间发生法律关系,不存在网络用户、权利人与网络服务提供者的三元结构关系,因而不符合网络侵权责任的构成要件,不应当直接适用,也不具备可以类推适用的条件。试想,用户正在与人工智能服务交互式对话,其间产生“AI幻觉”,用户对错误信息的纠正是否属于“通知”?若属于,服务提供者就此删除了与用户的对话信息,是否构成对用户使用服务权益的侵害?这些问题都需要在后续研究中进一步明确。

四、“AI幻觉”侵权的规制进路构思

总的来说,“AI幻觉”确实存在现实和潜在的侵权风险,但并未完全脱离现有法律体系的射程。对于新出现的侵权形态,可以通过解释论,适用现有的法律规则进行融贯性规制。就司法实践而言,关键在于解释好、适用好现有法律规则,在个案审理中把握好各方权利义务关系,以案释法,统一裁判尺度,并逐步总结司法实践经验,促推法律制度完善。

(一)确定责任主体的原则

“AI幻觉”生成并被传播的虚假信息侵权有别于传统的利用信息、网络技术实施的侵权行为,其中不仅有人类自主意志的行为,还叠加了算法技术的风险因素。现有案例已初步区分了生成式人工智能服务提供者和使用者的责任,学界对责任主体也提出多种分型模式。但无论如何分型又如何定义相关责任主体,法律适用首先要解决的问题是:我们能否以及如何找到虚假信息致损背后的“制造者”?

法律是否可以规制“AI幻觉”,需要一个前提——人工智能是可以被人类主体控制的。控制人工智能的主体应当负有责任,或者应以人工智能系统为对象,通过规范人工智能系统的设计研发、生产、应用等活动来防控人工智能侵权风险,并由此产生风险防控者的义务和责任。这一前提可以引申出一个确定责任主体的原则——“最有效控制原则”:在与人工智能生成内容最接近、最有可能控制其生成的环节,由该环节上的主体承担主要责任。欧盟法院曾有判例将数据保护责任分配给与该时间段利益最密切相关的控制者,这种处理方式与最有效控制原则有类似之处。

例如,使用者在人工智能系统中通过变换关键词或提问逻辑,得到的答案通常并不相同,而使用者对答案的选择,就体现了对生成内容的控制。再如,大模型开发者或服务提供者采用了偏见、歧视、错误的训练数据,或者未对数据来源进行基本的筛查过滤,导致生成虚假信息,理应承担相应责任。即便大模型开发者或服务提供者不存在故意行为,也未必不构成过错。有学者提出“谁生成,谁负责”的原则,建议由虚假信息生成方承担侵权赔偿责任。本文认为,一般情况下,仅考虑信息生成环节可能导致人工智能前端的数据和算法控制主体逃脱风险防控义务,使得生成虚假信息的责任出现真空。

更为复杂的情形是,“AI幻觉”生成的虚假信息在后续行为中成为侵权的工具,典型情形就是虚假信息在互联网传播,以及前文设想的虚假医疗信息导致用户延误病情危害其生命安全。从责任链条来看,“AI幻觉”的生成与后续行为是两个环节,由于后续行为的介入,使得“AI幻觉”导致的纯粹经济损失转化为实际的人身权、财产权、人格权损害。理论上,应当分层对各个环节的责任作出认定,各主体之间承担按份责任或者连带责任。当然,在实践中,很有可能引发“AI幻觉”产生的主体也是后续侵权行为的责任主体,“李某华案”即为适例。李某华作为生成式人工智能服务的使用者,既未对生成内容的真实性进行基本的审核,又将该信息发布在其运营的账号上,使得虚假信息在互联网传播,李某华应当对虚假信息的传播承担责任。进一步说,即便使用者对“AI幻觉”的生成没有责任,但因其未加注意地使用和传播,也可能造成侵害后果。因此,对于因虚假信息侵害他人合法权益的情形,使用该虚假信息的主体应当具有一定责任,除非其能够证明已经施加了足够的注意义务,如没有不当引导、多次反复向人工智能核实并得到肯定回答,或该信息不易核实等。

(二)注意义务的设置

目前,根据规范性文件和相关案例,大体可以确定生成式人工智能使用者的注意义务,但明确使用者的注意义务对于规制“AI幻觉”而言只是“治标之策”,明确服务提供者的义务与责任才是防范“AI幻觉”的“治本之策”。从前文“风险与危险的二分法”看,在技术可实现和可控范围内,对生成式人工智能服务提供者施加一定的注意义务,应当是最为经济高效的办法。

为确保注意义务与侵权责任相匹配,需要先对功能服务进行分型,可以按照行业或专业类型对生成式人工智能服务作出类型化区分。在个人信息保护领域,2021年5月起施行的《常见类型移动互联网应用程序必要个人信息范围规定》就是按照App类型对收集个人信息的范围进行区分的规范性文件,类似的场景化规制方式也适用于生成式人工智能。当然,目前的生成式人工智能主要是通用型,垂直细分领域的生成式人工智能应用还有待发展。但这一现状并不影响从生成内容的角度作出区分,对特定领域进行专门规定,要求服务提供者对生成这类内容承担较一般内容而言更多的注意义务。

在具体的注意义务设置上,按照生成环节,可分为前端的防范义务和后端的防止义务。前端是指大规模治理层面,服务提供者应当积极研发虚假信息的识别和过滤标注技术,及时修补技术漏洞,逐步实现对“AI幻觉”风险的全流程监管,借助技术手段促进机器审查与人工审查的有效协同。可由生成式人工智能技术开发者、服务提供者、监管部门共同制定行业标准,并嵌入算法识别机制进行内容审核,对可能由人工智能生成内容的高风险话题尽到提示义务。从侵权责任角度来看,是否符合行业标准,可以作为过错认定的考量因素。有学者提出,对于可能危及公共利益的虚假信息,还应当借助自动过滤等技术手段主动“发现”,并结合第三方专业审查机构的评估结果作出处罚决定。后端是指不可避免的“AI幻觉”发生后,如何采取措施阻止虚假信息传播或使用,包括增加提示性标识和及时删除等措施。例如,针对特殊信息进行风险提示,包括高风险、可能导致用户或第三人损害的专业性信息,或是涉及敏感话题时,开发者有义务提醒和指导用户进行内容验证。即便使用者和服务提供者尽到上述义务后仍不能避免“AI幻觉”的发生,至少,不应任由虚假信息在互联网上继续传播。因此,应当建立投诉举报机制,以便捷的方式给予公众请求更正或删除虚假信息的渠道,对已经发生传播的虚假信息可以进行删除、禁止复制或者提示该信息已被举报。

(三)举证责任的分配

由于生成式人工智能侵权的相关证据大多由生成式人工智能服务提供者或开发者持有,原被告举证能力差异悬殊,原告对待证事实的证明存在困难。为更有利于法院查明事实,尽量避免案件事实出现“真伪不明”状态而不得不通过客观证明责任确定诉讼结果,可以考虑从证据获取和缓解举证责任两个方面进一步明确规则。

证据获取方面,《最高人民法院关于适用〈中华人民共和国民事诉讼法〉的解释》(以下简称《民事诉讼法解释》)第112条规定了“书证提出命令”,可以帮助解决证据偏在、被侵权人举证困难的问题。具体而言,大部分算法运行过程、数据使用的情况由生成式人工智能服务提供者或开发者持有,而这些资料往往是证明这两类主体是否违反注意义务的重要书证或电子证据。若原告无法获取上述证据,可能需要承担举证不能的不利后果。即使被侵权人提出申请,生成式人工智能服务提供者或开发者也有可能以涉商业秘密或没有法律规定为由,拒绝被侵权人查阅、复制运算数据。因此,在满足《民事诉讼法解释》第112条和《最高人民法院关于民事诉讼证据的若干规定》(以下简称《民事证据规定》)第45条规定的情形下,可利用“书证提出命令”规则,要求相关主体提供诉讼所需信息。

《民事证据规定》第45条第1款规定,申请人应提出所需的书证名称或者内容、需要以该书证证明的事实及事实的重要性、对方当事人控制该书证的根据以及应当提交该书证的理由。据此,在“AI幻觉”侵权案件中,对当事人申请的审查,可以考虑以下因素:其一,该资料应当是被申请人(生成式人工智能服务提供者或开发者)记录、持有的信息,即处于被申请人的控制之下。其二,申请人应当提出合理的理由。例如,己方已尽到注意义务但仍发生“AI幻觉”,对被申请人的监管措施、数据和算法合规等方面存在“合理怀疑”。其三,该资料对于证明被申请人是否存在过错具有直接的证据作用。更进一步,法院经审查后认为被申请人有义务提供该资料而被申请人拒不提供的,可以根据《民事诉讼法解释》第112条第2款之规定,确定证明妨害的后果,即“对方当事人无正当理由拒不提交的,人民法院可以认定申请人所主张的书证内容为真实”。

举证责任缓解方面,即使被侵权人能够获取有关书证、电子数据,由于存在专业知识壁垒、技术可解释性差等问题,也仍有可能难以达到高度盖然性标准,导致无法证明人工智能生成行为和损害后果之间存在因果关系。特别是,被告可能以生成行为所导致的损害后果“无法预见”或“难以避免”为由进行抗辩。此时,可以考虑采取降低证明标准、举证责任转换等方法。实际上,在食品、药品、卫生和医疗等特殊侵权领域已有类似规定。例如,《最高人民法院关于审理食品药品纠纷案件适用法律若干问题的规定》第5条第2款规定,消费者举证证明因食用食品或者使用药品受到损害,初步证明损害与食用食品或者使用药品存在因果关系即可。该条对原告的举证要求达到初步证明标准,被告提出抗辩的,由被告提供反证,承担不存在相当性的证明责任。司法实践中也有类似做法。例如,在“陈某诉北京某科技有限公司隐私权纠纷案”中,法院认可原告证明浏览行为与广告推送之间存在因果关系的高度可能性后,即完成了初步举证责任,而被告需就其广告推送是否使用了陈某的个人信息数据进行举证。当然,举证责任的缓解并未改变“谁主张、谁举证”的举证责任分配原则,最终仍出现事实真伪不明时,原告仍需承担无法履行证明责任的不利后果。

五、结语

人工智能技术风险具有隐蔽传导特征,可能侵害公民权益,甚至冲击社会伦理秩序与信任根基,若缺乏有效治理,将严重阻碍人工智能健康发展,损害社会公共利益。上述两件涉“AI幻觉”案件对生成式人工智能侵权责任认定的法律适用问题作出积极回应,明确了过错认定的归责原则,细化了生成式人工智能服务提供者和使用者注意义务的内容,厘清了生成式人工智能服务提供者民事责任主体性质,为依法规制人工智能生成虚假信息的治理难题贡献了宝贵司法智慧。

必须强调的是,人工智能技术和产业的快速发展,可能使人类在人工智能生成内容过程中发挥的作用越来越小,或者侵权情况越来越难以证明,导致自然人的责任被稀释。为避免出现“责任鸿沟”,不至于在将来面对更严重的“AI幻觉”风险时无法确定责任主体,在现有司法实践探索基础上,还需要进一步深化“AI幻觉”侵权责任认定标准,推动构建完备的人工智能治理体系。

本文尝试从责任主体确定原则、注意义务设置和举证责任分配三个方面作出理论探讨。责任主体确定原则方面,提出“最有效控制原则”,即在与人工智能生成内容最接近、最有可能控制该内容生成的环节,由该环节上的主体承担责任。注意义务设置方面,提出按照功能服务的不同,分为前端的防范义务和后端的防止义务。举证责任分配方面,提出适用“书证提出命令”、降低证明标准、举证责任转换等规则,来解决事实查明难的问题。概言之,司法实践要通过法律适用的规则引领,推动相关主体形成治理合力,促进人工智能负责任创新,为全球人工智能治理贡献中国方案。

    进入专题: AI幻觉   生成式人工智能   侵权责任  

本文责编:chendongdong
发信站:爱思想(https://www.aisixiang.com)
栏目: 学术 > 法学 > 诉讼法学
本文链接:https://www.aisixiang.com/data/179248.html

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2025 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号-1 京公网安备11010602120014号.
工业和信息化部备案管理系统