张凌寒:商业自动化决策的算法解释权研究

选择字号:   本文共阅读 98 次 更新时间:2018-08-28 06:46:29

进入专题: 商业自动化决策   算法解释权  

张凌寒  

   摘要:  自动化决策广泛应用,算法的评分、排序决定和影响着相对人贷款、就业、信誉等诸多权益。但当算法作出不利甚至错误决策时,相对人无从知晓原因更遑论改正其错误决策,严重缺乏应有的救济。通过梳理现有法律资源发现,传统制度在自动化决策场景下均不敷适用,无法为相对人提供算法决策的解释。法律应配置独立的算法解释权,用以衡平自动化决策使用者与相对人不对称的权力关系,作为合同制度在人工智能时代的因应性变革。算法解释权的理论正当性亦可在贯彻意思自治原则、矫正信息不对称、分配风险负担等层面得到充分证成。算法解释权的内在构造具有独特的内容要求和双层架构,其具体制度应在兼顾效率和公平的原则下进行设计。

   关键词:  算法解释权;自动化决策;意思自治;信息不对称

  

一、问题的提出:自动化决策广泛应用带来的“算法暴政”

  

   打开购物网站,页面会自动推荐用户感兴趣的商品,打开手机地图,导航功能会自动规划回家的最优路线……这些发生在日常生活的场景,都是算法根据我们在网络世界中留下的浏览历史、上网习惯、购物记录、位置数据等作出的评价和预测。这种算法根据大数据作出的打分、评价和推荐等称为自动化决策,它被广泛用于商业领域以提高客户点击率和交易利润率。人工智能的本质就是算法的自动化决策,正如Cloudera联合创始人兼首席技术官Amr Awadallah所说:“我不喜欢人工智能这个说法,更准确的说法是决策的自动化,我们如何来搜集数据,利用数据进行分析,并尽可能多地让机器做出一部分的决定。”[1]

   和人的决策相比,算法的自动化决策具有相对客观、公正、高效等特点,因此其应用逐渐遍布社会生活各个领域。例如,我国某大学使用算法根据消费记录识别学生经济状况,帮助确定贫困生补助发放[2];银行广泛利用算法来对客户进行信用评估以决定是否发放贷款;美国教育部门使用算法对确定教师聘用合同是否续期;{1}12美国某些法庭中,法官利用算法来对罪犯重复犯罪的风险进行评估[3]。算法的自动化决策甚至通过国家公共部门在社会保障、医疗保健、公职人员监督和司法系统等领域,直接影响着人的各项基本权利。

   但是由于历史数据的偏差,设计者嵌入的偏见,或者技术的不完善,算法经常做出错误的、歧视性的自动决策。例如美国航空公司的一位资深驾驶员称,由于机场人脸识别的算法将他与一位爱尔兰共和军领导人混淆,使得他先后80次在机场遭到拘禁[4]。美国一些法院的使用犯罪风险评估算法COMPAS被证明对黑人造成了系统性歧视[5]。有学者指出,私营企业和政府公共部门采用算法和大数据做出的自动决策,使得数百万人无法获得保险、贷款、出租房屋等一系列服务,如同被监禁在“算法监狱”。{2}然而,自动化决策的算法不公开、不接受质询,不提供解释、不进行救济,相对人无从知晓决策的原因,更遑论“改正”的机会,这种情况被学者称为“算法暴政”。{3}

   各国均试图解决自动化决策不透明对公民权利的危害,其共识是提高自动化决策算法的透明度,以接受公众监督和质询。例如,美国联邦贸易委员会技术研究和调查办公室进行独立研究,向FTC消费者保护调查员和律师提供有关算法透明度的培训和技术专业知识[6]。我国则针对魏则西事件成立联合调查组,要求百度采用以信誉度为主要权重的排名算法并落实到位,严格限制商业推广信息的比例对其逐条加注醒目标识,并予以风险提示[7]。然而,以上案例表明,提高算法透明度只能作为事先监管的手段,却无法救济已经受到自动化决策损害的人。

   现实的迫切需求是,如果算法自动化决策作出了不利于相对人的决定,他们是否有权利知晓这些决定是如何做出的?如果这些决定是错误的或者歧视性的,如何对相对人进行事后有效的救济?欧洲最先做出了重要举措,即将于2018年实施的《欧洲通用数据保护条例》(GDPR)第22条规定:“应该采取适当的保障措施,……保证数据主体获得对此类评估之后达成的决定的解释,并对决定提出质疑。”[8]但也有学者指出,由于相关条文没有法律强制性,且解释内容是系统一般功能,此权利形同虚设。{4}

   人工智能时代,自动化决策算法被广泛应用,但法律尚未配置相对人知情、质疑、救济的机制。这种不平衡提出了一系列亟待解决的问题:如何救济被不公正对待的自动决策的相对人?配置给相对人挑战算法决策并提供解释的权利是否具有正当性?这种权利的来源和内在价值是什么?如何构造这种权利,行使的限度和程序又应如何设计?

   虽然此文研究的对象名为算法解释权,实则目的在于建立自动化决策相对人的事后救济机制。由于其以赋予自动化决策相对人权利为主要内容,故而以算法解释权为起点展开。自动化决策的算法既在私法领域的商业部门广泛使用,又深度参与了公共部门的决策。然而私法与公法两个领域均有独立的基本原则和运作规则,公共部门的自动化决策涉及到公权力的运行规则,相对人提起解释的权利基础与私法领域并不相同,故此本文将算法解释权的探讨局限于私法领域,即商业自动化决策,为了行文简洁下文均简称为自动化决策。

  

二、商业自动化决策情况下既有法律资源之不敷

  

   算法解释的目的是使自动化决策的相对人了解对其不利的决定是如何做出的,以便在确有算法歧视和数据错误时提供救济。商业自动化决策下,算法解释可适用的法律资源应先通过梳理既有民商法制度寻找。自动化决策是根据用户与自动化决策使用者订立的合同实施的,当可能发生错误时,相对人可考虑的路径包括要求确认自动化决策的用户协议符合显失公平、欺诈、重大误解条件,也可以考虑适用民事合同相对人的违约请求权,侵权责任中的赔偿请求权,以及在商业场景中消费者的知情权。然而,现有法律资源面对自动化决策场景均有严重不足,适用场景与算法场景差异太大,效果并不符合算法解释问题的初衷,无法起到救济自动化决策的相对人的作用。

   (一)合同效力制度不符合算法解释之场景

   当自动化决策发生错误时,受到不利决策的相对人可考虑通过合同效力制度来救济。但经过梳理可发现,通过认定合同效力瑕疵无法获得自动化决策解释,其制度效果不符合算法解释的初衷。如2017年5月美国二手房销售网站Zillow被一位房主告上法庭,认为其使用的自动估价算法Zestimates严重低估了其房产价值,造成其二手房几年内无法售出合理价格,给销售造成了严重障碍[9]。相对人的诉求是Zillow能够为其估价提供合理解释,并重新合理评估其房屋价格。然而,这样的相对人的目的并不能通过合同效力制度得到实现。

   第一,合同效力制度相悖于算法解释之目的。无论是重大误解、欺诈均为合同意思表示的“错误制度”,即表意人若知其情事即不为意思表示的,表意人可撤销其错误的意思表示。制度目的是为非自愿同意的合同的后果提供救济,回到当事人未缔结契约前的权利状态,而不是对实体不公平本身提供救济。{5}281然而,算法解释的目的是使当事人知情以修正,而非退出合同回到原始权利状态。相对人需要包含自动化决策的这份合同,以获得评估、预测、信贷等服务。

   第二,难以认定自动化决策存在意思表示瑕疵。合同效力制度的手段是认定合同的缔结违反意思自治原则,而意思表示瑕疵分析均不适用于自动化决策错误的场景。自动化决策的目的显然不是故意使相对人陷于错误认识,很难从主观上认定自动化决策者意思表示具有欺诈的故意。在重大误解情景下,非出于救济需要,相对人不会主张“若知其情事则不为意思表示”。

   (二)违约请求权无力救济自动化决策相对人

   那么,相对人是否可以要求自动化决策使用者承担违约责任呢?遗憾的是,民事合同的违约请求权由于制度目的、程序与举证责任等因素,无法救济自动化决策的相对人。例如,淘宝网的用户协议要求用户接受自动化决策对于违约行为、支付风险的判定结果。“淘宝可依据您的用户数据与海量用户数据的关系来认定您是否构成违约:您有义务对您的数据异常现象进行充分举证和合理解释,否则将被认定为违约”、“淘宝会依照您行为的风险程度指示支付宝公司对您的支付宝账户采取取消收款、资金止付等强制措施”[10]。但用户很难通过违约请求权知晓具体算法决策的理由进而获得救济。

   首先,违约请求权的制度目的在于依赖公权力保障当事人适当依照合同履行约定。一方面,合同中并未保证决策正确,如支付宝并未在合同中将决策合理正确作为合同义务。另一方面,算法解释的目的在于知晓错误决定是如何做出的,而知晓决策的考量因素和利用数据并非用户协议中明确约定的合同义务,例如支付宝没有提供具体封号、降低信用评分决定的证据的约定义务。

   其次,算法自动化决策使用者多为面对海量用户的互联网平台。当用户不服自动化决策时,一般首先要走内部的申诉和处理流程,但其规则和程序完全由互联网企业设定,更不会在做出接受或否定申诉的决定时告知用户实质性的理由。

   最后,如果自动化错误决策的相对人起诉至法院,按照民事诉讼的举证责任“谁主张谁举证”,相对人则需要在不知晓自动化决策规则的前提下,证明其决策是错误的。如前文提到的支付宝的用户协议,相对人需要“自证其无罪”。因此在现行算法自动化决策的使用者——网络平台早已形成网络治理的私权力情况下,{6}28以相对人一己之力对抗算法的错误决策基本不可能实现。

   (三)不利的自动化决策不满足侵权责任之构成要件

   受到不利决策的相对人可考虑主张侵权责任。由于自动化决策并无适用特殊归责原则的情形,因此一般适用于过错责任原则。但此路径受到侵权责任的过错、损害因果关系等构成要件的多重限制。

   首先,主观过错难以证明。自动化决策的使用者一般主张算法错误为客观“技术错误”而非主观错误,而以相对人的技术能力证明其使用的算法确实存在嵌入的偏见和数据的滥用极不现实。其次,损害结果隐秘且难以证明。自动化决策的不利结果很多是“拒绝”,如不予提供贷款,不予批准保险等,甚至有时相对人不知道不利决策的存在。机会的丧失很难认定为是相对人人身和财产的损害。最后,决策与损害的因果关系难以证明。算法使用数据进行自动化决策多依据相关性进行预测和评价,而非依据因果关系。侵权行为与损害结果之间的因果关系链条难以成立。

   此外,也可思考特殊的侵权责任路径,即向算法开发者主张产品责任。产品责任属于特殊侵权责任,除了上文所述的一般侵权责任的主观过错、损害结果与因果关系的证明困难之外,产品责任的救济路径还面临更多的困境:其一,算法的法律地位是“产品”吗?我国的《产品质量法》对产品的定义为“经过加工、制作,用于销售的产品”[11]。而用于自动化决策的算法并无实体,甚至在知识产权领域尚未明确作为专利保护。其二,产品责任的核心是产品缺陷。错误的自动化决策有可能是算法本身缺陷造成的,也有可能是决策使用的错误数据造成的,而仅有算法本身的缺陷方可主张产品责任。但是,没有具体自动化决策错误的解释,无从了解错误决策的原因。

   (四)消费者知情权无法提供真正的算法解释

   相对人如主张消费者的知情权,算法的法律定位仍为企业的工具而非商品,并且算法使用者可主张算法属于商业秘密提出抗辩。

(点击此处阅读下一页)

    进入专题: 商业自动化决策   算法解释权  

本文责编:陈冬冬
发信站:爱思想(http://www.aisixiang.com),栏目:天益学术 > 法学 > 民商法学
本文链接:http://www.aisixiang.com/data/111947.html

0 推荐

在方框中输入电子邮件地址,多个邮件之间用半角逗号(,)分隔。

爱思想(aisixiang.com)网站为公益纯学术网站,旨在推动学术繁荣、塑造社会精神。
凡本网首发及经作者授权但非首发的所有作品,版权归作者本人所有。网络转载请注明作者、出处并保持完整,纸媒转载请经本网或作者本人书面授权。
凡本网注明“来源:XXX(非爱思想网)”的作品,均转载自其它媒体,转载目的在于分享信息、助推思想传播,并不代表本网赞同其观点和对其真实性负责。若作者或版权人不愿被使用,请来函指出,本网即予改正。
Powered by aisixiang.com Copyright © 2018 by aisixiang.com All Rights Reserved 爱思想 京ICP备12007865号 京公网安备11010602120014号.
易康网