摘要: 公共机构适用算法进行决策对国家治理能力有明显赋能，但可能对个人权利的保障带来新的挑战。既有的算法规制多侧重正当程序的控制，缺乏公共决策适用算法技术的实体边界。尽管各国对算法技术应用于公共决策的实体边界尚未有相对一致的规范，但传统法律保留原则仍可成为思考这一问题的基本框架。法律保留确定了公共决策适用算法时“原则禁止，例外允许”的关系模式，也科以立法者在政府效能与权利保护之间的具体权衡义务。基本权利保障、风险的可控性、价值判断和自由裁量作为禁区以及算法类型和所涉数据等都应成为法律可否例外授权的考虑因素。有效的算法影响评估制度作为有助于划定决策边界的预防性手段，同样可在源头处补强算法纳入公共决策的民主性和可问责性。
关键词: 算法决策；免受自动化决策约束权；法律保留原则；算法影响评估
一、引言
数字时代，算法正以其独特的方式改变着人类决策的构造。人们最初适用算法进行决策还仅停留于私人生活和商业领域，例如新闻推送、手机导航、商品销售和医疗保健等。由于在运行速度、准确性和处理复杂问题上的卓越能力，算法技术已然从私人生活深入公共决策。迄今为止，我国公共机构应用算法决策已广泛覆盖行政审批、交通执法、信用评估、税务稽查、风险防控等诸多领域。将决策权委于算法并不仅意味着决策方式的简单改变或迭代，其引发的典型后果就有经由决策的算法化所导致的算法的权力化，即算法已成为对个体生活产生普遍且持久影响的公共力量，而当算法技术与国家权力相结合，其甚至不再只是一种“准国家权力”。[1]公共决策的算法化对国家治理有明显赋能，这种作用不仅体现于国家在治理信息收集、加工和反馈上的及时、精准与高效，还表现为原本由法律规则、行政命令、公务人员所驱动的行政系统，也渐次蜕变为由软件代码和统计操作所驱动的“自动分析、自动决策和自动执行”的算法行政系统。[2]
但算法与公共决策的结合又具有复杂的多效性，其带来行政决策、监管和执法能力的升级，同时又不可避免地引发过度侵蚀个人权利的问题。在很多场景下，因为缺乏警觉且法律规制滞后，算法和公权力的结合甚至催生出一种不受约束的霸权，其不仅打破了传统法治经由权力制约与权利保障所建构的权力与权利间的平衡，加剧了国家与个人之间的权力势差，也重新引发个人权利保障的危机。在算法进入公共决策后，就有不少学者关注到其复杂的外部性，提示要对公共决策的算法化予以警惕和防备，强调借由法律来驯服算法。但相比已在公共领域畅行无阻的算法，上述构想很大程度上还仅停留于观念层面。尤其是既有讨论很多都将对算法权力的规制引向算法解释和正当程序，认为只要解决了算法的可理解性和程序控制问题，就能够有效破除算法黑箱所导致的算法偏误、算法歧视以及无法追责的难题。这些讨论对于驯服算法当然有益，但其似乎忽视了一个重要的实体法前提，即是否所有的公共决策都可以不加区分地适用算法？公共决策是否需对算法适用设置门槛？既然国家权力和算法技术的结合会形成对个体更有力的支配和压制，这也意味着，如果我们不加防备地允许算法进入所有的决策领域，仅靠事中的算法解释或者事后的追责机制，根本无法避免个人被算法霸权所奴役和压制。基于上述思考，本文尝试探寻公共决策可完全适用算法的事项范围和实体边界，目的也在于从源头处就对算法决策的启动设置严格条件。
二、公共决策适用算法的典型问题
国家权力和数据权力的结合被很多学者描述为“数治”（rule by data）。[3]数治不只是提升了行政监管的效率，更带来国家治理能力的升级。这种赋能效果又端赖于算法在深度学习，结构性嵌入社会权力运作系统，并对社会生活无孔不入地进行干预以及对人类行为予以普遍性支配等方面表现出的巨大优势。[4]但也因为上述优势，国家权力与算法技术的结合极易催生出几乎不受任何约束的霸权，国家也会借助算法赋能而对个人形成更有力的支配和压制。
（一）算法操控与个人主体性的丧失
在算法加持下，国家权力的作用范围不再受物理世界中空间和时间的限制，其可以借由信息的互联互通，在极短时间内覆盖至社会生活中的每个人，并涵盖其生活的每个位置和时刻。[5]这也更易引发群体性的、规模化的，而非传统单体性的、单向度的权利侵犯。[6]
既有的研究将算法对个体权利的影响大致归纳为算法歧视和算法操纵几个方面，并认为其已对个人隐私权、平等权以及人格尊严都产生挑战和破坏。[7]侵害隐私权和平等权的背后又是国家权力借助算法而对个人的操控。倚赖对个人信息的广泛收集，算法使政府更易实现对个人的精准监控和追踪；数字技术使个人被数字化和数据化，也更易为国家所支配和控制；算法黑箱又将决策权拖进了由技术复杂性所构建的不透明区域，从而进一步吞噬了个人权利的行使空间，受算法决策影响的个人不仅丧失了参与、质疑甚至反对决策的机会，也失去了正当程序的保障；自动化决策中责任人的缺失，亦使个人再无法通过传统追责或救济机制予以反制。由此，在适用算法后，个人不仅面临隐私暴露、被区别对待、权利克减等侵害风险，其作为人的主体性同样被剥夺和贬损。
（二）算法决策对传统法治的突破
传统法治用以约束公权力的主要方式在于权限控制、程序控制和后果控制，即事前、事中和事后的法律控制。
权限控制主要依赖由法律优先和法律保留所构成的“依法律行政原则”。其中法律保留将关涉个人基本权利的事项交由民选产生的机构来处置，由此避免了个人权利沦为行政专断的对象。法律优先也要求行政活动必须以法律为依据，在构成要件和后果选择上都要依据法律的指示，而不能擅自悖离。但引入算法决策后，因固有认识认为算法只是改变了工具，因此对其准入往往不做任何防备，也未设置任何门槛，这就使很多攸关个人权利的事项未经事先评估和民主决议就轻易交由算法决断。
传统法治对公权力予以限制的事中机制在于程序控制。但被传统法治奉为圭臬的正当法律程序原则同样因为算法的适用而被架空。算法决策压缩了行政活动的各个环节，将所有信息与内容杂糅进既定的算法之中得出相应结果，结果也在系统内瞬间完成，此时已无法再分离出行政活动的程序、步骤和方法，正当法律程序针对行政分阶段和分步骤的规制也因此悬置。[8]与程序要求悬置对应的又是当事人程序参与权的缩减。算法决策在很多时候都被认为是“去人性化的”（entpersönalisiert），[9]它不仅取消了行政与人之间的沟通可能，也因不透明而引发理解和执行困难，并最终降低了公共行政的社会信赖。
徒留空壳的还有事后救济和追责权利。因为透明度不足以及缺乏明确的责任人，在算法出现偏误、歧视等不公结果时，当事人的救济权利同样无法得到充分保障。而且，令人生疑的是，《中华人民共和国个人信息保护法》（以下简称“《个人信息保护法》”）在规定国家机关不履行个人信息保护义务的法律责任时，也仅在第68条第1款规定了内部责任：“国家机关不履行本法规定的个人信息保护义务的，由其上级机关或者履行个人信息保护职责的部门责令改正；对直接负责的主管人员和其他直接责任人员依法给予处分。”这就使对算法决策诉请复议和诉讼虽然在理论上和逻辑上能够获得证立，却无法找到切实的规范依据。
三、《个人信息保护法》中的算法决策规范与适用问题
《个人信息保护法》对算法决策的规定仅有第24条、第55条和第73条三条。第73条明确“自动化决策”的含义是“通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，并进行决策的活动”。[10]第55条要求，当“利用个人信息进行自动化决策的”，个人信息处理者应当事先进行个人信息保护影响评估，并对处理情况进行记录。第24条作为自动化决策的核心规范，共有三款，其中可直接适用于公共机构的有两款：其一，个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正；其二，通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。这两款规定为公共机构适用算法决策设定了“予以说明”以及“保证算法决策的透明度和结果公平、公正”的义务，同样赋予个人要求说明和拒绝仅通过自动化决策的方式作出决定的权利。但上述规定在多大程度上构成对公共机构适用算法决策的拘束，这种拘束又存在何种欠缺，仍需对条文进行细致分析。
（一）免受自动化决策：权利抑或禁令的争论
从条文构造看，《个人信息保护法》第24条是对欧盟《通用数据保护条例》（以下简称“GDPR”）第22条的借鉴。但GDPR对自动化决策的立场，到底应理解为是对自动化决策的一般禁令还是对个人免受自动化决策的赋权，一直存有争议。而这也构成了评析《个人信息保护法》第24条规定的背景。
作为GDPR前身的《欧盟个人数据保护指令》（DPD）出于对人的主体性的强调以及为避免个人在算法社会被异化，规定了数据主体享有免受仅基于用户画像的完全自动化决策的权利。GDPR沿袭并完善了DPD的规范模式：“（1）数据主体有权拒绝仅基于自动化决策作出的、对其产生法律效果或类似重大影响的决定；（2）基于数据主体的明确同意、法律授权以及履行合同目的所必须不受上述条款限制；（3）限制豁免应当保留数据主体进行人工干预以及提出质疑的权利；（4）第2款中的三项豁免不适用于敏感数据的处理，除非获得数据主体的明确同意或者为了维护公共利益并且已采取合适手段保障数据主体权利。”
从条文表述来看，GDPR第22条是赋予了信息主体拒绝算法自动化决策的权利，信息主体事后可针对算法偏误或不公进行主动干预，并拒绝承认其效力。但欧盟第29条工作组在发布解释性文件时，却认为第22条属于自动化决策的禁令，即完全的自动化决策以及产生法律上或近似重大影响的识别分析原则上都属于禁止性行为。由此也拉开关于此规定是禁令还是权利的长久论战。
属于“禁令”还是“权利”会在法律上产生迥然不同的效果。如果将其理解为赋权则意味着，信息处理者在信息主体拒绝之前，仍可采用自动化决策的方式对个人信息进行决策；而禁令的理解则会使信息处理者的自动化决策行为自始就不被允许，除非其满足GDPR中规定的豁免情形。禁令说的支持理由在于，免受自动化决策约束权无法从根本上保护个人免受自动化决策的侵蚀和影响，因为算法黑箱使自动化决策行为极为隐蔽，个人很难察觉其数据是否被处理以及被谁以何种方式处理，而且事后的拒绝权不仅行权困难，其指向的一般也仅限于自动化决策本身，而无法触及最终的处理结果。[11]德国《联邦数据法》及英国《数据保护法（草案）》就因上述考虑都采用了禁令模式。但权利说的支持者则认为自动化决策可以给社会整体带来客观利益，采用禁令模式虽可保护数据主体免受算法操控，却会阻断技术创新，也同样影响算法技术的良性发展与合理应用；而且，在自动化决策已实质性进入社会服务各领域的背景下，采取普遍禁令还给企业带来高昂的合规成本。[12]
（二）《个人信息保护法》第24条的规定与问题
从《个人信息保护法》第24条的规定来看，我国在处理自动化决策的问题上选择了相对持中的权利立场，即并未普遍性禁止自动化决策在私人领域和公共领域的适用，但赋予个人“要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定”的权利，同时附加“个人信息处理者利用个人信息进行自动化决策，应当保证决策的透明度和结果公平、公正”的要求。
“有权拒绝个人信息处理者仅通过自动化决策的方式作出决定”直接对标GDPR中的“数据主体有权拒绝仅基于自动化决策作出的、对其产生法律效果或类似重大影响的决定”。[13]在GDPR的规定中，此项权利不仅赋予了数据主体在事后阶段自主决定是否接受该决定并受到相应约束的权利，同时也蕴含了与此相关的反对权、知情权、人工干预权、表达权等丰富的配套行权体系。[14]其本质是通过赋予数据主体事后的普遍反对权，使个人未能及时在事前获得预警、事中发动阻击之时，依然能够在事后通过程序性救济缓解和降低算法风险。
我国之所以未采用禁令模式而是采用权利模式，目的当然是期望在数据利用利益和个人主体性之间求取平衡。但从条文规定来看，这种“免受自动化决策约束权”在行权时又须满足以下要件：
其一，决定必须是仅通过自动化决策的方式作出。要求决定必须是仅通过自动化决策的方式作出与GDPR第22条的规定一致，即免受自动化决策约束权仅适用于自动化决策过程完全由系统进行，无需任何人工干预，其决策结果也未受到任何人为因素影响的类型。但将此前提作为行权要件在欧盟也存在争议。“实践中，算法与人工判断交互参与的人机回圈反馈形式相当普遍，而人工参与的自动化决策在稳定性、准确性等方面也并不必然优于纯粹的机器决策。”[15]因此，这一规定可说不当限缩了条款约束的自动化决策的类型。此外，这种要求还会诱导算法控制者为规避该条款的适用而采用形式上的人工干预或伪造出人工干预的痕迹。
其二，必须是对个人权益有重大影响的决定。GDPR第22条第1款将对“个人权益产生重大影响”描述为“对数据主体产生法律或类似的重大影响”。既然是以GDPR为蓝本，那么其对“个人权益产生重大影响”的解释同样可为我们所参考。欧盟第29条工作组发布的《有关GDPR自动化个人决策和识别分析的准则》规定，“法律影响”是指处理活动对个体的法律权利、合同约定权利以及法律地位产生的影响。“重大影响”是指“对数据主体产生长期或永久影响，或在最极端的情况下导致对个人的排斥或歧视”。[16]“类似的重大影响”则是将影响认定标准予以实质性拓展。但这些解释均未达到条文适用的精准性要求，概念意涵也仍旧模糊。
其三，如果再对照此前《个人信息保护法（草案）》会发现，本条其实还隐含了另一项行权前提。《中华人民共和国个人信息保护法（草案）》一审稿规定的是，“个人认为自动化决策对其权益造成重大影响的，有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定”，但“个人认为”后来被认为“过于主观，会增加企业的负担”，因此在正式稿中被修改为：“通过自动化决策方式作出对个人权益有重大影响的决定，个人有权要求个人信息处理者予以说明，并有权拒绝个人信息处理者仅通过自动化决策的方式作出决定。”如此修改也就意味着，个人必须就自动化决策对其权益有重大影响负担举证责任。[17]
相对严苛的行权限制已使赋权模式对算法决策的约束效果受限。除了行权要件的限制外，《个人信息保护法》的这一条文尚有不少含混之处：首先，与免受自动化决策约束权相配套的是“个人有权要求个人信息处理者予以说明”的权利。但从条文表述看，“要求说明”的前提与免受自动化决策约束权一样，都是数据处理者已“通过自动化决策的方式作出对个人权益有重大影响的决定”，这也意味着，此处的要求说明并非数据主体事前的知情权和拒绝权，并无法保障数据主体在自动化决策布控前就获取必要信息、建立合理预期，甚至拒绝决策行为；其次，本条虽然规定了个人免受自动化决策约束权，但个人有权拒绝的究竟只是“个人信息处理者仅通过自动化决策的方式作出决定”还是“自动化决策的结果”，条文同样语焉不详。[18]如果拒绝权所针对的只是“自动化决策”而非“自动化决策的结果”，那么结果一旦作出，事后的拒绝权其实已无助于消除自动化决策所带来的后果。
四、公共决策适用算法的界限缺失与背后原因
由上述分析可知，因为采取的是赋权模式，我国公共决策适用算法技术在源头处并未受到实质性限制。公共决策仍旧可以畅行无阻地适用算法，其可能遭遇的障碍只有信息主体事后的免受自动化决策约束权。但免受自动化决策约束权本质上只是事后阶段的控制，并无法覆盖事前的风险预警和事中的有效阻击。而且此项权利在行权时不仅面临规范要件上的约束，还会受到数据主体可能怠于行权或者力量薄弱的现实因素的掣肘。由此来看，《个人信息保护法》虽对算法决策有了一定的规范基础，但这些规范不仅质效单薄，其中还隐含着未对公共决策适用算法设置实质界限的重大缺漏。造成这一缺漏的原因主要有二：一是常规算法规制路径的影响；二是《个人信息保护法》“一体化调整”模式的问题。
（一）程序控制和主体赋权的缺陷
算法规制的一般径路主要有算法公开、个人数据赋权与反算法歧视。[19]算法公开被认为是对抗算法黑箱的核心方式，其目标是借由算法解释来破除算法的不透明和由此产生的偏见、歧视和操控；个人数据赋权是通过扩展个人的算法权利体系和类型，使个人在面对算法技术时重新赢回控制权，而不致使其主体性因算法权力的异化被蚕食和吞噬；反算法歧视则是通过尽力消除算法中隐含的身份歧视，由此来实现身份中立化的算法决策。
但上述规制路径是否可解决算法技术适用于公共决策的问题却值得怀疑。其关键就在于，算法公开、反算法歧视甚至个人的数据赋权，都是内嵌在针对算法的正当程序中。例如算法公开和反算法歧视主要借助数据处理者在决策过程中的算法解释达成，个人数据赋权也是赋予个人在算法决策全过程中的知情、表达、提出异议以及要求人工干预等数据权利来确保算法的程序正义。这种模式被认为是因应人工智能技术的“技术性正当程序”（technological due process）。其具体展开会针对新兴技术而予以调整，但核心要素却仍旧与传统正当程序一致。[20]
但这种内嵌于正当程序中的算法规制本质上仍旧是针对算法的程序性控制。程序性控制旨在为算法运作过程提供“过程性的降低算法损害发生概率、侵害广度与深度的风险预防性措施”，却“既不能确定地避免某项算法损害的发生，也无法对已然发生的算法侵害提供符合人类理性与正义要求的规范上可感的修复”。[21]这些缺憾其实在学者讨论赋权模式时就已被不断提及。例如，针对《个人信息保护法》第24条第3款的拒绝自动化决策约束权只是一种事后救济，而非贯穿始终的个人参与，就有学者尝试吸纳GDPR的思路对其予以改造，认为立法并未将拒绝自动化决策约束权局限于事后救济，而是同样包含在自动化决策开始前，就对采用完全自动化决策方式处理个人信息知情且有权拒绝，在自动化决策过程中主动予以干预的权利，即对自动化决策过程的全程参与。[22]但是，即便参照GDPR赋予了数据主体一种全周期和成体系的个人算法权利体系，在应对算法决策时还是会出现重大遗漏。无论是作为表象的程序控制还是内嵌入其中的实体赋权，所缺失的都是在源头处对算法进入公共决策予以严格把控。
既然无法从源头上阻断某项算法决策的应用，当然就无法彻底避免该项决策可能造成的损害。这一点只要回溯传统法治的规范方式即可获知：如果不是在行政机关行使职权之前，就借助法律保留为其划定行为界限，而仅靠事中的程序控制或者以相对人的程序参与作为制衡，就无法防堵行政权力的滥用，也不能避免权利侵害的发生。其原因在于，主体赋权的保护模式原则上只有在双方地位平等且行权没有障碍的情形下才能发挥效用，在双方力量悬殊时，单纯的赋权并不足以改变权力/权利之间的势差。而且，在公法中，个人权利与国家的客观义务也并非一一对应，“权利总是个别且列举性的，难以将公法中的权限和程序所具有的制度性自我规制，以及对抽象的公民整体权利保护全部归纳入个人的权利体系中”[23]。这也是公法在建构完整的个人公法权利体系之余，同样强调限定公权机关的权限范围以及科予其客观守法义务的原因。
（二）《个人信息保护法》公私一体调整的问题
算法会因使用主体、针对对象、所涉问题的不同而有显著差异。场景不同，对其采用的规制方式自然也应不同。而《个人信息保护法》第24条的问题还在于，其主要以算法技术适用于私人生活和商业领域为基础构建，并未考虑算法技术适用于私人领域与公共领域的区别。
这一点又与《个人信息保护法》一贯的规范模式有关。《个人信息保护法》第33条规定，“国家机关处理个人信息的活动，适用本法”。这就说明我国在个人信息保护问题上适用的是国家机关与其他信息处理者同等对待，原则上适用同一法律框架的“一体调整”模式。[24]但将两种不同类型的数据活动都诉诸以私人场景为基础建构起的规制框架，必然会导致对公权机关的规范错焦与效力松弛。
就信息处理而言，私人机构处理个人信息由“告知同意”这一核心原则来调控，其目标是通过赋予个人对自身数据的控制权，来避免他人对其数据人格的贬损和抑制。这一原则之所以能够成为调控私人处理个人信息的法权基础，又在于作为私人的信息处理者与数据主体之间本质上是一种对等的交换关系。以此为视角再观察GDPR对自动化决策的“全周期联动行权机制”也会发现，其设置了事前算法的风险识别预警机制，例如，“告知自动化决策和识别分析的存在及后续后果”（序言第60条）、“向数据主体提供详细联系方式表示任何拒绝的决定都可被重新考虑”（第22条第3款）、“数据主体对以直接市场营销为目的的自动化处理具有无条件拒绝权；除非有压倒性合法理由凌驾于数据主体利益或者自由权利之上，否则也有权拒绝数据处理（包括用户画像）”（第21条），这种事先告知并征得同意的处理方式本质上正是告知同意原则的思路延伸。
但因考虑到将告知同意适用于公职履行会影响乃至破坏国家的执法能力，《个人信息保护法》已将国家机关“为履行法定职责或法定义务所必需”的行为从同意原则的适用中豁免，即使是告知义务也被缩减为“有限度的告知”，即有法律、行政法规规定应当保密或者不需要告知情形的，可以不向个人告知。[25]既然告知同意不再能对公权机关的数据收集和处理行为发挥核心调控作用，就同样说明，以其为思路衍生出的对当事人的全周期数据赋权，尤其是允许其事先知情和拒绝的做法，并无法有效规制公共机构的算法决策。
而且，与私人机构适用算法决策不同，公共机构将决策权诉诸算法，很多时候不仅无需经过个人同意，个人也几无拒绝的可能。以“北斗掉线案”为例。交通运输部于2012年底就下发通知明确要求，自2013年1月1日起，示范省份所用的旅游包车、大客车、危险品运输车辆需要更新车载终端的，都应安装北斗兼容车载终端。未按规定安装或加装北斗兼容车载终端的车辆，不予核发或审验道路运输证。不安装就“不予核发或审验道路运输证”，作为决策承受者的相对人在此并无拒绝的可能。公权机关适用数字技术履职无需征得当事人同意，同样隐含在除《个人信息保护法》以外的其他规范中。例如我国2021年修订后的行政处罚法第41条在规定行政机关利用电子技术监控设备时，也未将事先获得公众同意作为要件，其适用前提只是“依照法律、行政法规规定”、“经过法制和技术审核”。
这些现实做法与规范规定都说明，以私人机构适用算法技术构建出的赋权模式来规制公共机构，既不充分也不完备。具体到公共机构适用算法决策，如果只是倚赖《个人信息保护法》第24条单薄的赋权规定，而缺乏对算法决策边界的规范，无疑会因规范缺漏而放纵算法技术与公共权力不断结合，并使个人的主体性因受算法操控而被蚕食。
五、法律保留作为边界划定的思考框架及其考虑因素
为避免个人尊严的保护被完全淹没在追求技术福利的目标之下，对公共决策适用算法设置界限无疑是必需的。有学者也提出，在算法投入公共决策的应用之前，有必要建构合理的应用清单，以明确哪些政府治理领域可以完全交由算法决策，哪些领域可以采取人机交互、合作的方式展开治理，哪些领域则应完全禁止算法决策。[26]但正如列举常规的政府权力正面和负面清单都基本不太可能，面对动态发展的算法技术以及隐秘性、扩散性的算法风险，要清晰划定算法技术适用于公共决策的边界就更为困难。域外有限的法例和学理在此问题上的处理不仅做法不一，也基本未形成一般共识。但是，即使是无法得出确定无疑的边界，借由域外经验大致确定考虑边界时应权衡的因素，仍旧是可行且有益的，它至少可为确定算法能否适用于公共决策提供评判标准和思考框架。
（一）法律保留作为形式合法性依据
传统法治用以确定公共机构尤其是行政机关权力边界的首要原则是法律保留。法律保留决定着行政机关采取某种措施介入社会的容许性，其逻辑是将国家的基础决定都交由最具民主正当性的议会，由此使立法在保障基本权利、控制行政权上发挥核心作用。[27]
1.GDPR中隐含的加重法律保留
法律保留应作为公权机关适用算法决策的界限又可参考GDPR。GDPR第22条第2款规定的免受自动化决策约束权的三项例外分别是：其一，决策对于数据主体和数据控制者之间的合同订立和履行是必要的；其二，决策是由数据控制者所应遵守的欧盟或成员国法律授权的，该法律提供了保护数据主体权利、自由和合法权益的适当措施；其三，决策是基于数据主体的明确同意作出的。第二项明显针对算法技术适用于公共决策。为避免限制泛化，欧盟第29条工作组还在《有关GDPR自动化个人决策和识别分析的准则》对其予以进一步限定，即“只有明确获得法律授权，出于公共利益、风险防控或者确保控制者提供服务的安全性和可靠性等目的，在已经制定了恰当措施保证数据主体的权利、自由与正当利益基础上，免受自动化决策约束权才会被限制适用。在此情形下，欧盟及其成员国应当采取适当措施保障数据主体的基本权利，禁止不成比例地以公共利益为理由不当减损免受自动化决策约束权”。
其实，无论禁令说还是权利说，都是将算法适用于私人机构和公共机构作一体性考虑。如果我们将算法适用于私人机构和公共机构作区别对待，认为对公共机构应为禁令模式，唯有符合法律规定的豁免情形时才会被允许，那么GDPR的上述规定——公共机构要完全诉诸算法进行决策就必须要有“法律授权依据”，且其目的是出于“公共利益、风险防控或者确保控制者提供服务的安全性和可靠性等”，适用前提是其“已制定了恰当措施保证数据主体的权利、自由与正当利益”——就完全可被理解为算法决策的法律保留。从具体类型来说，此种法律保留又显然属于德国法上的“加重法律保留”（qualifzierte Gesetzesvorbehalt），即公权机关采取此项措施限制公民权利不仅要有法律授权依据，同时还要求该项法律必须满足一定的前提要件、追求特定的目的或使用特定的方式。[28]
2.原则与例外的关系模式
将法律保留作为算法适用于公共决策的界限首先意味着：立法对此的立场是原则禁止和例外允许，规范模式也相应表现为“原则与例外”的关系模式。[29]除GDPR外，此类关系模式的典型还有德国《联邦行政程序法》中有关“全自动化行政”（der vollautomatisiert erlassene Verwaltungsakt）的规定。根据该法第35a条，全自动化行政行为被允许的前提之一在于必须有法律规范（Rechtssatz）的明确授权。唯有规范授权才能将行政行为的作出全部委托给机器，属于法律保留的经典表达。之所以要求这种“允许性保留”（Erlaubnisvorbehalt），首先在于法治国原则下的权利保障。算法作为“更好的决策者”会大大提升行政效能，但其内含的去人性化特质也会带来人主体性的丧失。由此，在算法决策应用上就始终存在政府效能与权利保障的张力。为确保人不被彻底异化且基于个案正义的理想模型，公共机构在信息收集、解释和决定方面的决策原则上都应由人工作出，只有基于效能考虑才可以例外地委托给机器。
要求有具体的规范授权同样意味着，立法者负有义务在行政效能与权利保护之间进行权衡，并在个别法中单独明确何种事项在何种程度上可委托给算法。[30]这种并非进行统一规定，而交由立法者个别处理的模式，同样是为因应算法技术的动态发展和人类对人工智能的认识更新。对于在一般意义上能否将决策权全部委于算法，一直存在强人工智能和弱人工智能（starke und schwache KI-These）两种意见。前者认为机器可习得人类所有的思考和问题解决能力，也因此可胜任所有的人类决策，甚至比人类表现得更完美；但后者认为人类智慧不仅在于得出问题解决的结果，还在于决定解决路径，即问题是通过某种创造性方式还是只是通过惯常方式解决，而这点在弱人工智能观念看来是机器难以习得的。[31]现实中人们的观点常常在上述两种倾向中拉扯，但这也恰恰说明，不作统一规定而是要求立法者在具体立法中权衡，甚至确保效能与权利保护可以相互支援而非彼此排挤，或许才能避免算法时代的法律和公共决策出现量子飞跃般的“体系断裂”和“模式移转”。[32]
3.法律保留中被放宽的“法律”
若作严格解释，法律保留中的“法律”应为立法机关制定的法律，由此才能贯彻立法约束行政的原则意涵。但值得注意的是，无论是GDPR中的“决策是由数据控制者所应遵守的欧盟或成员国的法律授权”，还是德国《联邦行政程序法》中的全自动化行政行为必须要有规范依据，都对作为允许性保留前提的法律作了放宽处理。德国法中的“法律规范”就不仅限于法律，还包括法规命令、自治规章等。[33]这种放宽的法律保留本质上已是“法规范保留”，[34]其寓意在原则性禁止的前提下，算法进入公共决策仍旧被赋予了相对广阔的空间。
这种放宽处理的立场同样体现在我国个人信息保护法中。该法第13条在列举个人信息处理的合法性根据时，将第（七）项“法律、行政法规规定的其他情形”作为兜底。这也意味着，对个人信息的处理除该条明确列举的情形以外，都必须要有“法律、行政法规”的明确授权。在法律之外，同样允许行政法规进行授权，可说是对法律保留中的法律作了扩张处理。与第13条第（七）项的兜底规定一致，《个人信息保护法》第34条对国家机关履行法定职责的规范依据同样作了扩张，其规定“国家机关为履行法定职责处理个人信息，应当依照法律、行政法规规定的权限、程序进行”，这也意味着，可以作为法定职责依据的除法律外，同样包括行政法规。我国行政处罚法第41条关于利用电子技术监控设备的规定同样与《个人信息保护法》一致，“行政机关依照法律、行政法规规定利用电子技术监控设备收集、固定违法事实的，应当经过法制和技术审核，确保电子技术监控设备符合标准、设置合理、标志明显，设置地点应当向社会公布”。
这都说明，在个人信息处理和数据技术利用方面，法律的部分权限已被授予行政法规，这种授权虽不符合严格的法律保留，却也符合我国法律保留实施的现实。由此，如果公权机关直接适用算法作出涉及个人自由权和财产权的决定，自然要受我国行政处罚法、行政强制法的约束；即使未直接处于上述行为法依据的辐射领域，只要公权机关基于个人信息处理进行算法决策，也至少应有行政法规的授权依据。《个人信息保护法》将处理个人信息的合法性依据扩展到行政法规，却未再授予地方性法规、规章等更下位的规范，其目的也是为防御现实中行政机关以决策方式的更替为庇护，擅自突破界限而自我赋权。
4.加重的法律保留作为适用类型
根据GDPR的经验，公共机构要完全诉诸算法进行决策除要有“法律授权依据”外，法律授权目的还只能是为了“公共利益、风险防控或者确保控制者提供服务的安全性和可靠性”等考虑。相比只是概括性授权的“简单法律保留”，加重的法律保留同样对立法者的权限进行了限定，由此避免将某些事项直接交由法律规定，却对其不加任何限制所导致的立法滥权。[35]鉴于公权机关将决策权拱手让与算法可能导致的法治被架空、权利受克减，个人主体性被蚕食的巨大风险，对于公共决策完全的算法化不仅要有法律的授权依据，对于授权所追求的目的、满足的前提和使用的方式，法律也应予详尽规定，即加重的法律保留应该成为具体立法的首要选择。这里尤其要防御的是立法者以抽象公益，例如“为维护公共安全”、“为应对突发公共卫生事件”等事由不合比例地减损当事人的数据权利，立法者也必须在具体授权法中对概括和宽泛的抽象公益予以具体框定和说明。此外，如果允许公共机构适用算法予以决策，就应同时科以其采取妥善措施确保数据主体的权利与正当利益的义务。这一点作为法律保留的加重事由同样旨在贯彻风险分配原则：数据处理者和算法适用者作为风险创设者应被科以更多的风险预防责任，由此才能确保各方主体的获益大小与风险承担之间的合比例性。[36]
（二）法律授权时的考虑因素
作为形式框架，法律保留确立了在公共决策适用算法时原则禁止和例外允许的关系模式，也科以立法者在政府效能与权利保护之间妥实权衡的具体义务。而法律规范在例外授权时又应考虑哪些因素，既可参考传统的法律保留原则，也应纳入算法决策的特点。这些考虑因素不仅攸关法律是否应作出授权决定，亦会决定授权法严苛还是宽松的规范强度。
1.基本权利的保障
法律保留的最初要义就是为了权利保障，其要求行政活动只要涉及个人的基本权利，就必须要有明确的行为法依据。这一点被誉为法律保留的法治国面向：因为权利的先国家性，行政要对权利予以干预就需有立法授权，就需征得个人同意。由此，即使行政将决策工具替换为算法，但只要决定触及个人基本权利，就仍旧要接受法律保留的约束。但何种基本权利要有严格的法律授权，何种基本权利可交由法律之下的其他规范处理，各国规定不一。典型的德日公法已从过去的侵害保留进阶到重要事项保留，这也意味着基本权利是否属于法律保留事项已不再依据其类型区分，只要行政决定攸关基本权利就都处于法律保留的覆盖范围，有所区别的只是授权法的规范强度。[37]
若论严格意义上的法律保留，我国的立场仍较为保守，主要涉及的只是基本权利中的自由权和财产权。根据我国立法法第8条的规定，“犯罪和刑罚；对公民政治权利的剥夺、限制人身自由的强制措施和处罚；对非国有财产的征收、征用”只能制定法律。我国行政处罚法、行政强制法亦将涉及人身自由的处罚和强制措施的创设权保留给法律。这些都是典型的侵害保留的表达。虽然只是提供了底线保护，但侵害保留既已明确规定于相关法律中，就不能因为公共机构行使权力的方式由人工替换为机器就擅自豁免。若算法决策的结果是生成了直接影响当事人自由权和财产权的具有法效性的决定，而并非只是纯粹的决策执行或者决策辅助，那么这种算法适用就必须要有法律的明确授权，下位的法律规范显然无法成为合法性依据。这也意味着包括生命权、人身自由在内的自由权应受到更高程度的保护，立法者在将攸关这些基本权利的公共决策交由算法时也会受到更严格的约束，而在不能确保上述权利获得充分保障时，完全的算法决策更应被明确禁止。
2.风险可控性与分级保护
算法技术其实已成为一把双刃剑，它在带来便利和效率的同时，同样会引发重大风险，有时这种风险甚至会溢出技术系统，演变成对人的支配和压制。也因此，亦有国家是从算法决策可能引发的风险以及风险的可控性出发，结合具体场景适用分级保护和监管的模式。2019年加拿大颁布的《自动化决策指令》就是这种分级保护机制的典型。其从个人或集体的权利，个人或集体的健康和舒适，个人、实体或集体的经济利益、生态系统的可持续性四个维度将自动化决策分为四个等级：一级自动化决策通常会对上述因素产生可逆且短暂的影响；二级自动化决策对上述因素产生可逆的短期影响；三级自动化决策对上述因素产生难以逆转的持续性影响；四级自动化决策对上述因素产生不可逆的永久性影响。[38]这种分级保护体制决定将公共决策权是否委于算法的考虑因素大致有两项：其一是自动化决策所影响的当事人的权利类型。如果算法决策关涉的是人的生命权或人身自由等这些重大权利，就不应完全交由算法完成，这一点延续了法律保留的思路；其二是自动化决策所产生的风险是可逆且暂时的，抑或是不可逆且永久性的，若是后者就应设置严格的算法适用界限。
加拿大的分级保护提供了一种根据技术引发的风险大小和强度以及是否可逆等因素，考虑是否能够授权的思路。这种思路又延续了法律规制技术的典型思考：如果某项技术应用可能带来无法估量且难以逆转的风险，在道德与伦理层面也受到一致批判，就应为法律所完全禁止，例如基因编辑技术；如果某项技术应用虽能带来较大效益但风险难以预测，其中蕴含的政治性和社会性风险，甚至会对自由、民主、人权都构成严重威胁，就只应例外适用而原则禁止。GDPR对人脸识别技术采取原则上禁止的立场也是基于这一考虑；如果某项技术的适用收益大于风险，且预期风险较为可控，就应在合规的情况下允许其适用。[39]这种根据风险程度及其可控性来对技术应用予以区别处理的思路，同样可在决定算法能否适用于公共决策时被纳入。
3.价值判断和自由裁量作为决策禁区
在应用清单的思考中有一项是设置算法应用于公共决策的禁区，这种思考又的确落实于美国2007年的“卢米斯案”（Loomis）判决和德国《联邦行政程序法》中，因此同样可成为法律授权的禁止性规定。
（1）卢米斯案与价值判断问题
在卢米斯案中，初审法院参考了由COMPAS风险评估工具所作的评估报告，判处被告人卢米斯六年有期徒刑和五年社区监督。该款评估工具是基于对被告人的访谈以及从被告人犯罪史中获取的信息，对被告人的累犯风险进行评估。但被告人认为法院依据COMPAS评估结果对其量刑处理侵犯了他获得个性化判决的权利，而且COMPAS报告仅提供与特定群体相关的数据，因此同样侵犯了其基于精确信息被量刑的权利。
尽管上诉法院最终仍旧维持了原判，但主审法官却在判决中提示，风险评分不能用于“确定罪犯是否被监禁”或“确定刑罚的轻重”，算法决策工具在司法审判领域只能起到辅助裁判的作用，绝不能是法官的替代。其原因除了因为算法在数据质量、数量、算力等方面存在局限，以及算法可能继承了人类偏见，这些偏见又需要人为修正外，还在于“解释和运用法条的工作本身蕴含着价值判断的要求，这个任务必须由有着同理心的人类法官完成，而不能纯粹诉诸技术理性，否则人的主体性地位就可能受到威胁”。[40]在此，我们能够发现卢米斯案提炼出的算法适用于刑事司法这类特殊公共决策的首要实体边界：若某项公共决策涉及利益冲突和价值判断，就不能全部交由算法处理。
这一认识目前已被广泛接受，价值判断也因此成为公共决策算法化的实体禁区。其原因在于，价值判断是一项依赖生活经验和决策预警的工作，由于社会环境无法全面数字化和符码化，算法往往无法领会和处理解决价值冲突所需要的人类情感和体悟，算法也并不具有人类因文明传承和生活经验所产生的对他人的同理和同情。从定罪量刑再推演到公共决策作出的整体流程，上述结论又会扩展为：事实识别和证据固定可由算法进行，对此部分的处理，算法决策往往比人类具有更高的精准性，处理也更高效；但法律适用和决定作出不能完全交由算法。因为法律适用不尽然都是演绎和涵摄，还必须适用直觉或法感这些“软性的裁判因子”，在涉及文化脉络时，更是攸关隐形知识或无意识，这些无疑是机器所不具备的。在需要借由个案解决来进行法律续造的领域，机器更必然是失败的。[41]
除了机器能力的有限外，将价值判断作为适用禁区更深层的考虑还在于：它会引发不负责任的法律适用。法律总是与责任互相连接，这也是权力/权利共同的行使条件和道德要求，对他人实施权力者，必须面对此人并承担责任。“但机器既不为其裁判担保，更不会为裁判理由所担保。它不会将他人当作人来对待，也不会理解和展现尊重”，它就是没有责任的权力。[42]据此，不能轻易就放纵如此可怕的权力进入司法裁判和重大决策，而“往此方向踏进的任何一步，都会被标记为法学伦理的禁忌实验”。[43]
（2）德国《联邦行政程序法》关于全自动化行政适用于裁量的禁止规定
除价值判断外，卢米斯案判决提炼的另一项实体界限还在于，如果某项公共决策中存在裁量空间，也要求公权机关根据个案作出最符合个案的处理，此决策同样不能全部交由算法。因为算法结果过于倚重聚类数据，算法技术提供的也是标准化处理，这种处理方式既与法官的裁量权存在龃龉，同样会影响当事人获得个性化裁判的权利。[44]由此，除价值判断外，公权机关是否享有裁量权成为权衡算法可否用于行政任务的另一参考。“对于高度不确定的、需要更多依赖人类裁量才能完成的任务，不能交由算法处理”，[45]这一点同样为德国《联邦行政程序法》所明确规定。该法第35a条在论及全自动化行政行为的允许性时，除要求必须要有规范依据外，还规定唯有羁束行为才可适用全自动化，当行政行为中存在不确定法律概念和裁量时，就应严格排除全自动化行政的适用。
英美法语境中的价值判断从其意涵来看，又对应欧陆法中的判断余地和效果裁量中的狭义自由裁量，[46]二者作为算法决策禁区的理由也因此互有重合。尽管从技术理性角度，自动化决策似乎可减少裁量的随意性，提高其一致性和客观性，避免人工因仓促或粗心所犯下的典型错误。但它却无法以数学模型收集所有与裁量相关的信息，因此在个案处理能力上是有限的。尤其在法律适用阶段，决定的得出很多情况下都倚赖语义确定与解释以及价值权衡，机器显然无法胜任此项工作，其在冲突目标的选择和权益分配上也会面临巨大困难，“法律演绎推理（Justizsyllogismus）要转化为自动化的涵摄过程（Subsumtionsautomaten）尚有距离”。因此，现阶段的“算法决策仍旧被局限于纯粹形式意义上的计算选择（Rechenopreation），如果法律概念需要语义确定或解释，或者规范赋予了行政以补充、评级和决定裁量的空间，就应由人类自己决策”。[47]
但裁量一律都不能适用算法的观点也受到一定质疑。从法律技术而言，裁量的行使大致可分为两个阶段：第一是普遍抽象的裁量（allgemein-abstrakte Ermessenausübung），例如通过制定行政规则而确立裁量基准；第二是具体特定的裁量，即公务人员在具体个案中参照上述基准作出最终的裁量决定。细究上述步骤，将第一阶段的裁量交由算法其实是可行的。但第二阶段因要作出符合事物特征的个案评价，需要在不完全信息下对不确定法律概念予以具体化，因此必须有人工介入，否则就会引发权利保障的危险。[48]但反对意见进一步认为，即使事物构造可通过计算性（Berechenbarkait）织入算法，人工智能系统也能对法律问题作出回答，但其“却无法对答案予以解释也无法进行法律论证”，这同样不符合法治国下的理由说明要求，因此仍是违法的。[49]将价值判断和裁量作为算法决策的禁区，其实也符合人们对人工智能适用领域的核心设想：在高度复杂且无法预见的领域，即所谓“VUCA”[50]领域，应尽量排除机器的应用，因为攸关价值、目标、意愿、动机、兴趣、情绪等事项都与人类的理性有关，也与人之为人的主体性（Subjektivität）相关。[51]
4.算法类型和所涉数据作为其他考量
除算法所影响的权利类型、影响程度以及风险等级外，算法类型、所涉数据等也都可成为法规范能否允许公共决策适用算法的考虑因素。
（1）算法类型
目前广泛适用于行政审批、交通执法、信用评估、税务稽查和风险防控等公共场景的算法，大致可划归为算法审批、算法辅助和算法预测等类型。以市场监管领域的“秒审批”为代表的算法审批诉诸“人工智能＋机器人”，确立了申报、签名、审核、发照、公示、归档全流程电子化、智能化商事登记模式，由机器而非人工对符合标准化、规范化的申请实现秒审批。但这种秒审批方式是否可推广至所有行政审批事项却需要斟酌。此处仍有根据事项的复杂性和确定性予以区分处理的必要：如审批事项有确定清晰的程序步骤以及可预见的决策结论，适用更精准和高效的算法决策显然是适宜的；如审批事项中有的步骤具有较高的复杂性和不确定性，就不应交由算法进行。
除算法类型外，算法在公共决策中发挥的作用，即算法只是作为公共决策的辅助工具还是彻底取代公权力成为真正的决策者，同样是确定算法适用界限的重要指标。完整的算法决策是无需人工干预，系统自动收集、分析数据并作出决策的运行模式。这种算法决策不仅直接针对个人作出了具有法效性的决定，还具有“即时执行、自我实现”的特点。[52]既然实现决策执行的算法要比决策辅助或者仅服务于纯粹决策执行的算法对个人权利的影响更大，也理应受到更严格的约束，法规范的规范强度自然也要更强。
算法预测是算法根据过去的数据来预测个人未来的行为，并根据预测结果允许或剥夺个体的行为选择。算法预测的决策过程依赖数据与推断结果之间的相关性。但这种人为建构的相关性认知模式，只是一种认知方法而并非唯一的认知方法。其过程难免会忽略其他众多社会、文化及偶然性因素，并犯下以实然推断应然，以过去判断未来的谬误。[53]而在假释和量刑中采用风险预测算法，不仅与无罪推定精神颇有扦格，同样会否定无罪推定原则中的程序性保障。据此，公共决策若适用预测性算法直接作出具有法效性的决定，原则上应被禁止。但如果算法预测只是风险识别，并不会针对个人作出直接具有法效性的决定，其适用界限应适度放宽。例如我国很多地方的公安机关目前都已开始适用犯罪预测系统。这种算法决策将刑事案件的治理从事后打击转为事前预防，公安机关也会根据算法预测向犯罪风险较高的区域投放更多警力。这种算法决策虽然也发挥了调配公共资源的作用，却未形成直接具有法效性的决定，对个人权利的影响仍旧是间接的。但亦有人指出，由算法进行的犯罪预测会造成某区域的公民受到更高警觉和更高密度的盘查，将原本有限的警力进行不均等分配，也会使警方自觉或不自觉地降低合理怀疑标准，进而在个案中造成不平等的心理与客观事实。[54]由此，经由算法的犯罪预防如何在公益性和政府权力滥用的危险性间权衡，也是未来亟需化解的难题。
（2）所涉数据类型
从算法涉及的数据类型来看，敏感个人信息因与个人人格尊严直接关联，因此在法律上受到特别保护。《个人信息保护法》第28条第2款规定：“只有在具有特定的目的和充分的必要性，并采取严格保护措施的情形下，个人信息处理者方可处理敏感个人信息。”而法律、行政法规还可就处理敏感个人信息是否应取得个人的书面同意，以及是否应取得相关行政许可或受其他限制作出特别规定。这些都说明，如果算法决策是以敏感个人信息为基础，就要有法律、行政法规的授权依据。以此为依据重新审视《个人信息保护法》第26条，尽管该条并未直接规定在公共场所安装图像采集、个人身份识别设备要有法律授权依据，仅要求上述行为“应当为维护公共安全所必需，遵守国家有关规定，并设置限制的提示标识”，但如果综合《个人信息保护法》的其他条文，公权机关在公共场所启用人脸识别设备，即使是为了维护公共安全，但因涉及敏感个人信息，也应有法律或行政法规的授权依据。
六、算法影响评估作为划定实体界限的程序性保障
法律保留可作为算法适用于公共决策的界限，在于其首先提供了算法决策的权利边界，即如果某种完全的自动化决策涉及个人的基本权利，是否可被允许就应属于立法决议，而非行政机关自主决定的事项。但这一原则历经嬗变同样纳入了民主主义的因子：即使某些事项不能被理解为对个体权利的侵害，若攸关公共福祉，同样应有法律保留的适用。攸关公共福祉的事项应由立法机关来决定，在于唯有立法机关在宪法分配秩序下才具有“冲突调解的特权”。[55]但强调将重要事项保留给立法机关，本质上又是发挥立法所具有的民主功能，即借由立法对行政的控制，实现人民对行政的控制。由此，如果我们将法律保留中的“法律支配”进一步引申为“人民支配”，那么在现行法尚未对公权机关可否适用算法作出某项决策予以规定前，事先吸纳公众参与并作出具有实质影响力的算法评估，同样是有助于划定决策边界的预防性手段，也是法律保留的程序性保障。
算法影响评估制度肇始于美国纽约2018年颁布的《算法问责法案》。该法旨在建立一套标准化的评估体系，对即将投入应用的算法进行事先审查，从而对其适用后果予以客观评估。[56]加拿大政府紧随其后于2019年也颁布《自动化决策指令》，尝试以透明、问责、合法、程序公正等核心原则为指引，系统构建算法影响评估制度。[57]这两部法案都首先将算法影响评估适用于公共决策，其目标正在于化解算法适用于公共决策的治理难题。GDPR中虽然没有专门的算法评估，但从其第35条第1款要求必须强制性进行数据影响评估的事项来看，也都涉及公共决策对算法的适用：第一，基于包括画像在内的自动化处理而对自然人的个人特征进行的系统且广泛的评估，以及在此评估基础上作出的对自然人产生法律效果或类似显著影响的决定；第二，对GDPR规定的特殊类型数据的大规模处理或对刑事犯罪和违法行为的数据进行的大规模处理；第三，对公共区域的大规模系统监控。欧盟第29条工作组在其发布的“数据保护影响评估”（DPLA）中指明，上述评估旨在描述数据处理的过程，评估其必要性和合比例性，并通过评估对数据处理行为可能产生的风险加以管理。[58]
算法评估作为事先的预防手段，又分别包含技术、风险分析和公众参与、外部稽查两个面向。一方面，鉴于算法的高度复杂性，倚赖传统的边界划定和治理模式已不完全可行，必须从技术层面对算法设计、部署、运行的全流程予以动态评估，以预先识别、跟踪并纠偏算法内置或潜在的偏误，增加算法运行系统的稳健性和可控性；另一方面，算法评估不仅要求对算法设计进行技术评估，还要求在评估过程中通过信息披露、公众参与等制度赋予利益相关主体程序性保障和参与渠道，以此来补足和强化算法决策的民主性和适当性。而借由事先的影响评估，算法决策也不再只是在封闭的技术系统中进行，而成为可由相关利益主体广泛参与并产生实质性影响的事项。[59]
我国个人信息保护法以GDPR为蓝本，同样在第55条规定了类似的个人信息影响评估，需要评估的事项就包含“利用个人信息进行自动化决策”。再依据第55条，此类影响评估又包含：“个人信息的处理目的、处理方式等是否合法、正当、必要；对个人权益的影响及安全风险；所采取的保护措施是否合法、有效并与风险程度相适应”。
但是，对照美国《算法问责法案》以及欧盟GDPR，我们仍会发现，《个人信息保护法》尽管规定了对自动化决策的影响评估，这种粗放的算法评估还存在明显缺漏。首先，《个人信息保护法》第55条仅列明个人信息处理者有义务在事前进行个人信息保护影响评估，并对处理情况进行记录。记录虽为贯彻个人信息处理者的责任原则，也有助于证明其进行的个人信息处理活动是否符合法律、行政法规的要求，但这种个人数据影响评估是否能够在源头处阻却公权机关适用某项自动化决策，从规范中却未可知。这就可能使评估会因执行保障机制不足而无法发挥事先防御的功能。其次，相较于美国《算法问责法》以及加拿大《自动化决策指令》中相对明确的算法评估技术框架和指标体系，[60]我国虽规定了个人信息影响评估，但评估内容却未具体化。《个人信息保护法》第56条所列举的评估事项更近于一般的数据保护影响评估，缺乏对算法决策的针对性，也恐难解决自动化决策系统在运行中存在的歧视、偏误和不透明等难题。再次，如上文所述，相比私人机构适用算法，算法适用于公共场景时更需要提升公众参与与信息披露，由此才能最大可能地释放算法评估制度中的民主功能，但这一点在《个人信息保护法》中同样未被要求。而以往的实践也表明，我国的公共机构虽然在智能安防、金融风控、城建监管、公卫防治、警务预测和司法审判等领域广泛适用算法决策，但在制定、评估、异议和救济环节却鲜少向公众提供参与渠道，也不注重在自我评估基础上强化对评估结果的公开披露，这就使算法评估还仅停留于安全测评和风险预防的层面，并没有嵌入对公众参与和程序权利的保障。最后，算法评估不仅是预防性手段，同样也是问责制的构成。为保证上述目的的实现，就应在算法设计者、部署者和运行者自我评估的基础上，纳入外部问责和审计力量。也因此，美国《算法问责法案》采取自我评估和政府评估的双轨制。对属于法案中的“高风险自动化决策系统”，除自我评估外还要由联邦贸易委员会与独立的稽核人员、技术专家展开独立的第三方评估。而在加拿大的《自动化决策指令》中，这种独立的第三方评估还被辅以有效的执行保障，如果未能有效履行评估义务和主体责任，可由财政委员会采取适当和可接受的任何措施。[61]但这一要求在《个人信息保护法》中同样缺失。
据此，要借由算法影响评估来化解传统法治对于公共机构适用算法决策的治理难题，未来还需由国家网信部门牵头组织一体化的评估机制，出台更细致的算法影响评估标准，在充分考虑不同类型的算法风险基础上，参考具体应用场景、决策风险、适用部门以及对数据主体产生的后果等因素出台类别化的评估框架和更细致的评估标准。[62]而针对公共机构算法应用的评估框架也应在技术性和安全性之外，更多考虑公众参与的保障和问责机制的纳入，由此才能使算法评估在法律保留等传统手段无法覆盖的地方发挥效用。
七、结语
法治的核心永远都在如何防堵国家权力的扩张和滥用，不致使个人被彻底贬损为工具和客体。所以，当国家权力与算法技术相结合时，就必须警惕不受拘束的霸权产生，也必须确保技术的根本目的永远都在人类福祉的增进，而不能任由其蜕变为公权机关支配和压制个人的工具。赫拉利曾在《未来简史》里警示众人：“一旦权力从人类手中交给算法，人文主义的议题就可能惨遭淘汰。只要我们放弃了以人为中心的世界观，而秉持以数据为中心的世界观，人类的健康和幸福就不再那么重要……人类就有可能从设计者降级为芯片，再降成数据，最后在数据的洪流中溶解分散，如同滚滚洪流中的一块泥土。”[63]在人工智能时代，技术首次超越了受人支配的客体地位，而人的主体性也受到前所未有的挑战。人的主体性的消解与人之为人概念的滑坡，又因由商业利益驱动、政府监管需求所推动的决策算法化而持续加剧。这些都需要现代法律予以积极回应。但法律对算法的规制不能仅停留于工具层面，而是必须以人的主体性为核心和基础。无论是赋予个人体系性的数据权利，还是科以数据处理者算法公开、算法解释和算法评估的义务，抑或是探求公权机关适用算法决策的实体界限，其最终的目标都是为确保人的主体性和自治性，使其不致因新兴技术的适用而被蚕食，也不致使法治约束公权的目的因人工智能时代的到来而落空。
注释:
本文系司法部国家法治与法学理论研究一般项目“重大突发公共卫生事件下的数据治理问题研究”（项目编号：21SFB2009）的阶段性研究成果。
[1]陈景辉：《算法的法律性质：言论、商业秘密还是正当程序？》，载《比较法研究》2020年第2期，第125页。
[2]张欣：《算法行政的架构原理、本质特征与法治化路径：兼论〈个人信息保护法（草案）〉》，载《经贸法律评论》2021年第1期，第22页。
[3]王锡锌：《行政机关处理个人信息活动的合法性分析框架》，载《比较法研究》2022年第3期，第92页。
[4]张凌寒：《算法权力的兴起、异化及法律规制》，载《法商研究》2019年第4期，第66页。
[5]郭哲：《反思算法权力》，载《法学评论》2020年第6期，第35页。
[6]沈伟伟：《论数字紧急状态的恢复机制》，载《清华法学》2021年第2期，第134页。
[7]张恩典：《论行政自动化算法决策的正当程序控制》，载《私法》2021年第2期，第169页。
[8]张凌寒：《算法自动化决策与行政正当程序制度的冲突与调和》，载《东方法学》2020年第6期，第69页。
[9]Julius Helbich, Rechtsfragen der ?automatisierte“n Ermessensausübung im Steuerrecht, DStR 2017, S.575.
[10]我国个人信息保护法中有关“自动化决策”的定义杂揉了欧盟GDPR第4条对“用户画像”的定义。但两者之间其实存在一定的差异。用户画像的核心在于对自然人特定特征或行为的分析和预测，其可以通过完全自动化或者非完全自动化处理方式得出；而自动化决策虽然经常被应用于用户画像，所涉及的处理行为却更为广泛。参阅王苑：《完全自动化决策拒绝权之正当性及其实现路径——以〈个人信息保护法〉第24条第3款为中心》，载《法学家》2022年第5期，第79页。
[11]程啸：《个人信息保护法理解与适用》，中国法制出版社2021年版，第226页。
[12]唐林垚：《“脱离算法自动化决策权”的虚幻承诺》，载《东方法学》2020年第6期，第20—22页。
[13]这种权利此前已被学者翻译为反对自动化决策权、脱离自动化决策权、自动化决策免除权、免受自动化决策约束权等。本文采用张欣老师“免受自动化决策约束权”的译法。
[14]张欣：《免受自动化决策约束权的制度逻辑与本土构建》，载《华东政法大学学报》2021年第5期，第32页。
[15]张欣：《免受自动化决策约束权的制度逻辑与本土构建》，载《华东政法大学学报》2021年第5期，第34页。
[16]王苑：《完全自动化决策拒绝权之正当性及其实现路径——以〈个人信息保护法〉第24条第3款为中心》，载《法学家》2022年第5期，第80页。
[17]程啸：《个人信息保护法理解与适用》，中国法制出版社2021年版，第223页。
[18]王苑：《完全自动化决策拒绝权之正当性及其实现路径——以〈个人信息保护法〉第24条第3款为中心》，载《法学家》2022年第5期，第83页。
[19]丁晓东：《论算法的法律规制》，载《中国社会科学》2020年第12期，第138—140页。
[20]刘东亮：《技术性正当程序：人工智能时代程序法和算法的双重变奏》，载《比较法研究》2020年第5期，第66页。
[21]王莹：《算法侵害责任框架刍议》，载《中国法学》2022年第3期，第170页。
[22]王苑：《完全自动化决策拒绝权之正当性及其实现路径——以〈个人信息保护法〉第24条第3款为中心》，载《法学家》2022年第5期，第84页。
[23][日]小早川光郎：《行政诉讼的构造分析》，王天华译，中国政法大学出版社2014年版，第189页。
[24]王锡锌：《行政机关处理个人信息活动的合法性分析框架》，载《比较法研究》2022年第3期，第92页。
[25]赵宏：《告知同意在政府履职行为中的适用与限制》，载《环球法律评论》2022年第2期，第44页。
[26]陈锐、王文玉：《算法嵌入政府治理的权力异化风险及其规制方案》，载《理论探索》2022年第6期，第87页。
[27]王贵松：《行政活动法律保留的结构变迁》，载《中国法学》2021年第1期，第124页。
[28]赵宏：《限制的限制：德国基本权利限制模式的内在机理》，载《法学家》2011年第2期，第165页。
[29]Johannes Erichenhofer, Der vollautomatisierte Verwaltungsakt zwischen Eiffizienz- und Rechtsschutzgebot, DOEV,2023(1), S.95.
[30]Johannes Erichenhofer, Der vollautomatisierte Verwaltungsakt zwischen Eiffizienz- und Rechtsschutzgebot, DOEV,2023(1), S.98.
[31]Leonid Guggenberger, Einsatz künslicher Intelligenz in der Verwaltung, NVwZ 2019, S.845.
[32]Johannes Erichenhofer, Der vollautomatisierte Verwaltungsakt zwischen Eiffizienz- und Rechtsschutzgebot, DOEV,2023(1), S.101.
[33]Berger, Der automatisierte Verwaltungsakt. Zu den Anforderungen an eine automatisierte Verwaltungsentscheidung an Beispiel des§35a VwVfG, NVwZ 2018, S.1260.
[34]王贵松：《行政活动法律保留的结构变迁》，载《中国法学》2021年第1期，第138页。
[35]Reinhold Zippelius, Allgemiene Staatslehre, C.H.Beck,15. Aufl.,2000, S.301.
[36]劳东燕：《“人脸识别第一案”判决的法理分析》，载《环球法律评论》2022年第1期，第159页。
[37]Hartmut Maurer, Staatsrecht, C.H.Beck 1999, S.285.
[38]郑智航：《平衡论视角下个人免受自动化决策的法律保护》，载《政法论坛》2022年第4期，第99页。
[39]劳东燕：《“人脸识别第一案”判决的法理分析》，载《环球法律评论》2022年第1期，第159页。
[40]江溯：《自动化决策、刑事司法与算法规制——由卢米斯案引发的思考》，载《东方法学》2020年第3期，第78页。
[41]Leonid Guggenberger, Einsatz künslicher Intelligenz in der Verwaltung, NVwZ 2019, S.845.
[42]Luis Greco：《没有法官责任的法官权力：为什么不许有机器人法官》，钟宏彬译，载《月旦法学杂志》2021年8月第315期，第182页。
[43]Luis Greco：《没有法官责任的法官权力：为什么不许有机器人法官》，钟宏彬译，载《月旦法学杂志》2021年8月第315期，第189页。
[44]江溯：《自动化决策、刑事司法与算法规制——由卢米斯案引发的思考》，载《东方法学》2020年第3期，第90页。
[45]陈锐、王文玉：《算法嵌入政府治理的权力异化风险及其规制方案》，载《理论探索》2022年第6期，第87页。
[46]王贵松：《行政裁量的构造与审查》，中国人民大学出版社2016年版，第56—66页。
[47]Johannes Eichenhofer, Der vollautomatisierte Verwaltungsakt zwischen Effizienz- und Rechtsschutzgebot, DOEV,2023(1), S.95.
[48]Julius Helbich, Rechtsfragen der ?automatisierten" Ermessensausübung im Steuerrecht, DStR 2017, S.574.
[49]Leonid Guggenberger, Einsatz künstlicher Intelligenz in der Verwaltung, NVwZ 2019, S.848.
[50]“ VUCA”即“volatility, uncertainty, complexity and ambiguity”的缩写，所谓不稳定性、不确定性、复杂性和二义性。Leonid Guggenberger, Einsatz künstlicher Intelligenz in der Verwaltung, NVwZ 2019, S.849.
[51]Leonid Guggenberger, Einsatz künstlicher Intelligenz in der Verwaltung, NVwZ 2019, S.850.
[52]张凌寒：《算法权力的兴起、异化及法律规制》，载《法商研究》2019年第4期，第69页。
[53]张凌寒：《算法权力的兴起、异化及法律规制》，载《法商研究》2019年第4期，第73页。
[54]Friso Selten, Marcel Robeer & Stephan Grimmelkhuijsen,'Just Like I Thought': Street-Level Bureaucrats Trust AI Recommendations If They Confirm Their Professional Judgment,83(2) Public Administration Review 263,263-278(2023).
[55]Arno Schetzberg, Das subjective ?ffentliche Recht: Grundfragen und F?lle, Jura 2006(1), S.840.
[56]Zoe Beranard, The First Bill to Examine 'Algorithmic Bias' in Government Agencies Has Just Passed in New York City, Business Insider, http://gffgb06cd17301fb744cbhwou6qkwvbxfp65vn.ffhb.libproxy.ruc.edu.cn/algorithmic-bias-accountability-bill-passes-in-new=york-city-2017-12(accessed Feb.23,2023).
[57]张欣：《算法影响评估制度的构建机理与中国方案》，载《法商研究》2021年第2期，第110页。
[58]程啸：《个人信息保护法理解与适用》，中国法制出版社2021年版，第420页。
[59]张欣：《算法影响评估制度的构建机理与中国方案》，载《法商研究》2021年第2期，第108页。
[60]例如，加拿大《自动化决策指令》中以风险影响等级而将自动化决策划分为可逆和短暂性影响，可逆和短期性影响，难以逆转且持续性影响以及不可逆转且永久性影响4个等级，并分别确立评估指标体系；美国的《算法问责法案》也尝试在确定性的法律规则之外，确定可度量、可标定、可操作、可区分的分级化指标。
[61]加拿大《自动化决策指令》第7.2条。
[62]宋华健：《反思与重塑：个人信息算法自动化决策的规制逻辑》，载《西北民族大学学报（哲学社会科学版）》2021年第6期，第104页。
[63][以色列]尤瓦尔·赫拉利：《未来简史：从智人到智神》，林俊宏译，中信出版集团2017年版，第365页。
赵宏，法学博士，中国政法大学法学院教授。
来源：《比较法研究》2023年第2期。
