王莹:算法侵害类型化研究与法律应对

选择字号:   本文共阅读 233 次 更新时间:2022-09-06 23:52:30

进入专题: 算法侵害     数据与个人信息保护     算法可解释性  

王莹  
进行精准匹配,向用户推荐其感兴趣的内容,使用户如同生活在茧房中,知识信息逐渐单一化、自我中心化,侵害用户的信息自我决定权,造成社群沟通鸿沟。⑧信息茧房不仅操纵个人信息接受,继而影响个人的价值观与政治观点,还产生造成社群鸿沟甚至社会撕裂、阻碍公共议题之共识达成等集体性的、深远的负面影响。2021年8月10日,中宣部等五部门联合印发了《关于加强新时代文艺评论工作的指导意见》,强调“加强网络算法研究和引导,开展网络算法推荐综合治理,不给错误内容提供传播渠道”。⑨但该意见仅是一种行政指导,欲具体产生实效,尚需从法律层面对算法进行规制。

  

   (二)算法歧视

  

   算法歧视作为算法自动决策技术的主要侵害类型,发生的场景广泛且多元,是目前算法法律研究关注的热点。算法通过搜集用户数据进行用户画像,根据用户偏好提供不同定价,实现精准营销和收益最大化,此即所谓“大数据杀熟”,实际上是一种“价格歧视”,⑩属于算法歧视。2020年11月26日《南方都市报》反垄断研究课题组发布的《消费者对在线平台行为与市场竞争的态度和认知问卷调查报告》显示:最受受访者重视的问题依序是个人数据被滥用(占比50%)、大数据杀熟(占比20%)、过度精准推送、难以辨别付费搜索结果、平台二选一、互联网屏蔽、强制搭售和平台自我优待,其中,73%的受访者对“大数据杀熟”持反对态度。(11)我国文化和旅游部于2020年8月发布的《在线旅游经营服务管理暂行规定》已明确禁止在线旅游经营者利用定价算法实施大数据“杀熟”,(12)但《消费者权益保护法》并未明确将“大数据杀熟”纳入规制范围,消费者仅可根据该法第8条关于消费者知情权的规定、第10条关于消费者公平交易权的规定及第55条关于消费欺诈的规定进行法律救济。此外,《电子商务法》第18条与《个保法》第24条规定了“信息推送、商业营销算法应同时提供不针对个人特征的选项”这一义务。《反垄断指南》第17条规定:“具有市场支配地位的平台经济领域经营者,可能滥用市场支配地位,无正当理由对交易条件相同的交易相对人实施差别待遇,排除、限制市场竞争。分析是否构成差别待遇,可以考虑以下因素:(一)基于大数据和算法,根据交易相对人的支付能力、消费偏好、使用习惯等,实行差异性交易价格或者其他交易条件;(二)实行差异性标准、规则、算法;(三)实行差异性付款条件和交易方式。”

  

   算法歧视除可能导致经济法领域的消费者权益侵害外,也可能在量刑辅助算法或福利分配算法应用中引起公法上的问题。例如,美国辅助量刑的人工智能算法应用产品COMPAS在一个案件中引发了广受关注的算法歧视争议。在该案中,法官在对被告人的量刑判决中参考了再犯风险评估算法COMPAS,被告人质疑该算法决策结论的正确性,并要求法庭批露算法编码,但法官以算法工具具有专有权且涉及商业秘密为由驳回了该请求。被告人认为法院违反了正当程序,故诉至州高等法院。(13)维斯康星州高等法院支持了原判决,理由在于,COMPAS得出的再犯风险评估结论只是法官作出量刑判决的因素之一,而且被告人通过填写COMPAS收集算法数据的调查问卷,已了解算法输入数据,其知情权并未受到侵犯。但是,根据非盈利新闻机构ProPublica的研究,COMPAS得出的再犯率预测结论与事实上的再犯率相差甚远,只有20%的准确率,且存在明显的种族偏差。具体而言,对黑人的预测再犯率的错误的比率高出对白人的预测再犯率的错误的比率两倍。在美国法中,虽然正当程序审查具有一定的灵活性,能够包容不同的实体法,但由于技术与算法外包使自动决策跨越不同部门,所以这就要求采取一种更清晰一致的方案来确定须披露算法的哪些信息。(14)再犯风险评估算法作为我国《刑事诉讼法》第40条所规定的案卷材料之一或量刑建议书之一部分,也涉及披露或论证问题,同样面临着关于算法披露内容及披露效果的问题,(15)这超出了单一刑事诉讼法规制的框架。

  

   (三)算法错误

  

   在自动驾驶领域,自动驾驶系统算法错误可能引起严重交通事故。例如,2016年,发生于美国佛罗里达州的特斯拉半自动驾驶追尾事故造成驾驶员Joshua Brown身亡,引起媒体震惊与广泛关注。事后调查显示,自主驾驶系统虽已感知到前方卡车,但未能识别卡车数据,将卡车误认为交通指示牌,或者未能将卡车的白色侧面与天空色彩区分开来,导致碰撞事故。(16)2021年8月12日,蔚来L2级别驾驶辅助功能汽车发生交通事故,导致驾驶员林某死亡。据报道,事故原因很可能是系统无法识别前方静态车辆,因此发生碰撞。(17)

  

   知名科技媒体《连线》最近曝光了英国犯罪风险评估AI系统MSV(Most Serious Violence)预测系统的严重缺陷。(18)英国内政部斥巨资投入英国国家数据分析解决方案NDAS(National Data Analytics Solution)项目“严重暴力犯罪预测系统”。该系统从地方和国家警察数据库收集超过1TB数据,从中识别出500万需警方关注的风险人员,发现了近1400个有助于预测犯罪的指标,包括年龄、第一次犯罪后的天数、与其他人的联系、犯罪的严重程度以及持刀次数。NDAS机器学习系统根据这些指标对上述人员进行关于犯罪可能性的风险评分。尽管NDAS声称其系统的准确度高达75%,但其严重技术漏洞很快被发现。负责审查NDAS的委员会称,错误原因是“训练数据集的定义中存在一个编码错误”。后来,技术漏洞虽得到修补,但预测准确率直线下降,导致系统实际上无法得到使用。系统伦理委员会的报告也称,编码错误是对AI预警技术系统的严重提醒,“在最坏的情况下,不正确的模型(即错误编码导致错误算法模型)可能导致一些人根本没有合理理由就被预测为可能犯罪,进而被采取强制或惩罚措施。尽管系统会发出明确的警告,但也可能威胁到被评估为有风险的人士的生活”。(19)

  

   算法错误损害个人利益,可被纳入刑法或者侵权法提供的生命权、健康权或财产权保护法律框架进行规制。虽然在侵害的权利类型上不存在法律真空与规制空白,但算法侵害这些传统权利的方式与机制是全新的。

  

   首先,鉴于人工智能算法决策行为的技术复杂性,在侵害后果发生时,对因果关系、主观过错的认定与证明是一个非常棘手的问题。其次,由于算法决策部分甚或全部地替代人的决策行为,因而产生了归责难题与人机责任的界限混淆等问题。例如,自动驾驶L3级别驾驶权切换时的责任区分就引发了学界的广泛争议。(20)再次,传统上这些权利在被人或物侵害时,侵权法或刑法根据权益内容、重要性程度、侵害频度与方式逐渐发展出了清晰的权利界定及侵害认定的框架。但是,人工智能自动决策系统对传统权益的侵害往往很难为侵权法上的侵权责任构成要件或者刑法上的犯罪构成要件所包摄,形成了权利救济与保护的裂缝。例如,2020年7月,美国密歇根州总检察长驳回了一个针对失业保险诈骗探测AI系统算法错误的损失赔偿请求,认为受算法侵害的人应当获得补偿,但诉讼并不是确定该损失赔偿的合适渠道。(21)

  

   (四)算法标签、算法归化

  

   算法结合个人历史数据对个人进行风险评估与分类,根据算法应用场景的不同,可能把个人划归进不同的风险群体,贴上诸如“财务风险”“雇佣风险”“犯罪风险”等不同的风险标签。如上所述,这些风险标签不同于线下社会人际交往中的社会评价,算法标签无法构成侵权法中的名誉权侵害,但对个人的风险分类会增加个人在电子世界中的脆弱性,导致个人权益可能被进一步侵害。例如,美国国会商业、科学和运输委员会的一份大数据交易行业报告揭示,数据画像将消费者划分为“农村的勉强度日者”“二线城市的少数族裔挣扎者”“艰难的开始:单亲父亲或母亲”,根据经济脆弱程度对消费者进行评分,这些数据经常未经消费者允许就被数据掮客出售给金融公司,金融公司再向消费者推销小额贷或高利贷等其它非传统金融产品。(22)而且,这种个人电子身份标签在算法社会固化、存档、流通,其侵害具有隐蔽性、长期性和涟漪放大效应,对个人的负面影响不可小觑。

  

   算法归化实际上是个人因担心算法标签、算法歧视的不利影响而调整、压缩自己在数字世界的行为,以避免被算法“算计”,这在一定程度上构成了对个人行动自由的干涉。但这种干涉相对隐蔽、轻微,无法达到被侵权法、宪法或隐私权法救济的程度。例如,利用AI对人群进行大规模的监控,以筛查潜在的治安风险,利用AI来监控雇员的行为,进行雇员表现或绩效评估等。人们可能感觉自己如玻璃水缸里的金鱼一样,处于时刻的监控之下,除了减少暴露于监控场所和使自己的行为看起来更正常以外,并没有其它办法抵御日益普及的算法监控。我国某售楼处采用了人脸识别技术,导致看房客为避免被识别或面部图像被采集而带头盔进入售楼处。(23)近日,大量用户反映,一些App存在偷听通话内容并根据偷听到的内容推送相关商品的问题,引起了公众广泛的担忧和戒备。(24)这些均是典型的算法归化对个人行动自由造成干涉的例子。

  

对于算法标签、算法归化这类无法落入传统部门法法律框架的侵害,在多大程度上需要法律介入以及如何介入,是算法时代值得深思的法律难题。如果将算法标签、算法归化视为算法社会必要的“恶”,就必须划定一个可以接受的范围,并对这个范围内的侵害进行正当化说明,将这个范围内的侵害作为法律上可允许的风险予以合法化,同时对超出该范围的侵害予以禁止。可在传统法律资源中寻找进行正当化说明的法律工具,即借鉴侵权法与刑法中正当防卫、紧急避险制度的法理基础——利益衡量方法,对不同算法应用场景下算法标签、算法归化所带来的利益与其造成的对个人行动自由等利益的侵害进行衡量,确定可以接受的侵害范围。例如,大规模监控算法、人脸识别算法只有在社会安全防御利益大于其所侵害的行动自由、个人隐私利益时,才能被允许。根据GDPR关于特殊个人数据处理及GDPR执法指令的规定,生物性识别算法只有在具有实质性公共利益等少数情况下才以法律授权的形式被准许,且算法应用须符合比例原则,且应具有安全保障措施。(25)目前,我国人脸识别算法应用严重泛滥,引发了公众的广泛担忧。2020年10月,《南方都市报》人工智能伦理课题组和App专项治理工作组发布《人脸识别应用公众调研报告(2020)》,针对支付转账、开户销户、解锁解密、换脸娱乐等常见的10大类人脸识别场景进行调研的结果显示,94.07%的受访者使用过人脸识别技术,64.39%的受访者认为人脸识别技术有被滥用的趋势。(26)在备受关注的杭州“人脸识别第一案”中,二审法院认为:“郭兵在知悉指纹识别店堂告示内容的情况下,权衡后自主作出办理年卡的决定并提供相关个人信息,指纹识别店堂告示对郭兵与野生动物世界具有约束力,而人脸识别店堂告示并非郭兵与野生动物世界之间的合同条款,对郭兵不发生效力。郭兵办理指纹识别年卡时选择权并未受到限制或侵害,野生动物世界的行为亦不构成欺诈,但野生动物世界单方变更入园方式构成违约。现野生动物世界欲利用收集的照片扩大信息处理范围,超出事前收集目的,表明其存在侵害郭兵面部特征信息之人格利益的可能与危险,应当删除郭兵办卡时提交的照片在内的面部特征信息。”(27)该判决主要从合同违约责任的角度而非从个人信息保护角度立论作出上述判决。假若郭兵知悉人脸识别这一入园条件,则很可能因为存在事先明示的约定或事后默示的追认而承担败诉风险。(点击此处阅读下一页)

    进入专题: 算法侵害     数据与个人信息保护     算法可解释性  

本文责编:陈冬冬
发信站:爱思想(http://www.aisixiang.com),栏目:天益学术 > 法学 > 民商法学
本文链接:http://www.aisixiang.com/data/136376.html
文章来源:《法制与社会发展》2021年第6期

2 推荐

在方框中输入电子邮件地址,多个邮件之间用半角逗号(,)分隔。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2023 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号-1 京公网安备11010602120014号.
工业和信息化部备案管理系统