从杭州“城市大脑”到深圳“AI+场景”清单,从南京“宁安晴”应急大模型到各地12345热线的AI智能派单,人工智能正在加速嵌入中国城市治理的各个环节。各类智能体日益广泛地嵌入人们的生产生活,在给人们带来便利的同时,也伴生着诸多风险与隐患。
一、智能体城市治理应用现状与治理矛盾
在各类智能体被广泛应用的背后,一个结构性的张力浮现出来,组织层面的制度建设滞后于技术推进。商业领域中的智能体暴露出权限越界、责任模糊、算法不透明等问题,亟待纳入制度规制的轨道。在政务智能体方面,城市管理者在部署算力、开放场景、发布清单方面表现积极,但在算法透明、问责监督、公众参与等制度建设上着力不多。实践证明,人工智能的运行并非“自运转”过程,商业智能体的开发和应用需要制度保障,政务智能体更需要正视组织体系的评估、认可与调适。人工智能体的建设离不开公共组织与非公共组织的合作,数字技术的应用更是高度依赖跨部门、跨主体的联动。2026年4月,工业和信息化部办公厅印发了《关于实施人工智能科技伦理审查与服务先导计划的通知》,将在北京、上海、天津、广东、山东等10个省市开展AI科技伦理审查,提出构建“单位主责、专业支撑、部门监管”的协同共治格局。2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,提出“坚持安全可控,将智能体安全、可靠、可信作为发展的底线要求,贯穿智能体技术研发、应用部署与推广的全过程,切实防范系统性风险。坚持规范有序,适应智能体技术演进规律,构建与现有政策法规衔接顺畅、行业自律自治、底线红线清晰的治理体系,有序推进智能体落地应用”。
一些城市也开始探索人工智能体的监督与问责制度化建设。深圳市于2022年9月出台国内首部人工智能产业专项立法《深圳经济特区人工智能产业促进条例》,规定市政府应设立人工智能伦理委员会,履行研究制定伦理安全规范、发布实践指南等职责。2022年10月,上海市发布《上海市促进人工智能产业发展条例》,明确设立人工智能伦理专家委员会,对高风险人工智能产品和服务实行清单式管理,遵循必要、正当、可控等原则进行合规审查。上海市杨浦区数据局联合多部门推出“杨数浦”人工智能公共服务平台,该平台建立了行业领先的“智能体审核规则”,构建起一套全生命周期的AI治理体系。
在智能体加速融入城市治理的背景下,相关部门和地方政府在伦理审查、算法合规、平台监管等方面进行了有益探索。然而,这些尝试仍处于初步阶段,距离形成一套覆盖全流程、可复制、行之有效的制度体系尚有不小距离。为智能体立规矩、建制度护栏,意在让城市治理在数字化浪潮中始终守住“以人为本”的底线,确保技术在更稳妥的方向上发挥积极作用。
二、算法并非中立:智能体应用的安全风险
算法是人工智能运行的关键支柱。人工智能嵌入城市治理,首先面临的质疑是“算法是否中立”?相当多的经验研究给出的是否定性判断。
温纳在经典论文《人造物有政治吗?》(Do artifacts have politics?)中揭示,技术实为“在我们的世界中建立秩序的方式”[1]。其深层含义在于,技术设计本身已经是在确立某种特定的“秩序形态”,其中包含着对不同人类活动排列方式的可能性。同样,算法在实际中决定谁被纳入、谁被排除、何种行为被鼓励抑或惩罚。能动者以不可预测且高度不透明的方式自主行动的事实,意味着人工能动者在解释层面获得了更独立的地位,这种能动性正是治理所要应对的现象。[2]换言之,当算法被用于城市管理、公共服务、风险处置时,它已在事实上参与了价值判断和权力行使,并且会造成意想不到的风险。
进入2026年以来,开源AI智能体框架OpenClaw(俗称“龙虾”)的爆发式应用,将这一议题推至更为显豁的位置。OpenClaw在展示智能体自主执行任务能力的同时,也暴露了一个不容忽视的风险,在特定指令诱导下,智能体可能发起网络攻击。这一隐患引发了人们对智能体安全的深刻关切。这意味着,智能体一旦被使用,它并非单纯的工具,而是一个需要被认真审视且有一定能动性的主体。
算法的非中立性在某些领域表现得尤为尖锐。澳大利亚的“机器人追债”计划就是一个深刻的教训。政府用算法自动追缴福利欠款,结果误差率高得离谱,大量弱势群体被错误追债,被迫自证清白,最后政府赔付数亿澳元。这样的“算法剥夺”引发人思考,城市管理者引入人工智能体时,是否充分考虑了算法的政治性,依据什么规则判定适用范围,被算法“错配”的人,如何申诉?
算法的核心困境还在于其“黑箱”属性。非营利性新闻机构The Conversation的研究报告显示,美国各州越来越多地使用人工智能来确定福利和检测欺诈行为,其中存在大量错误例子。例如,密歇根州实施了一个人工智能系统,发现失业保险欺诈的发生率是之前系统的5倍,但93%的确定结果是错误的。而且,不透明性并非靠“要求公开算法”即可解决,因为算法流程高度流动、分布式嵌入复杂网络中,所需要的不是一次性的透明度声明,而是持续的、参与性的问责流程。[3]欧洲的实践为此提供了警示,荷兰的SyRI系统,一个用于识别福利欺诈风险的算法,2020年被海牙法院以违反《欧洲人权公约》为由叫停。法院特别指出,该系统针对的弱势社区往往具有移民背景和低社会经济地位,算法应用实质上面临歧视和污名化的现实风险。丹麦Gladsaxe市政府开发的“脆弱儿童预测模型”,试图通过整合精神疾病、失业、医疗预约等数据点提前识别风险家庭,该模型错误率过高,且计划覆盖全市所有有子女的家庭,这被批评为对全市家庭的“大规模监控”,违背了欧洲数据保护中的“目的限制”原则。
归根到底,算法从来不是中立的,智能体也绝非单纯的“技术工具”。它们既反映了设计者的意图,也存在训练数据的偏见、算法黑箱的特性。此外,新型数字负担,隐私、数据安全、数字鸿沟和算法歧视等数字伦理问题,以及人工智能决策替代所引发的公共价值耗损、公共责任模糊、治理目标偏离等问题[4],均需认真对待。
三、为“智能体”构筑制度的护栏
制度建设滞后于技术应用的速度,往往潜藏着多重风险。如何有效规制人工智能体?《实施意见》是国家层面给出的制度回应,但其落地效果最终取决于组织结构与运行方式的深刻调整。
其一,制约智能体需着眼于制度信任的塑造。人工智能在城市治理中的广泛应用必须回应一个基本问题:公民凭什么信任这些看不见的算法?传统上,政府倾向于用“隐私换安全”的叙事来说服公众,为换取更高效的公共服务和更可靠的风险防控,公民应当接受一定程度的数据收集和算法决策。然而,有研究提出了不同于这一假设的发现,即,公民对数字监控技术的支持度不仅取决于简单的“安全-隐私”权衡,还取决于他们对运营这些技术的安全机构的信任。[5]事实上,传统中公民与政府的双主体关系,已被技术平台实质性楔入,由此产生了未曾预料和未加规制的复杂变数。当算法决策隐藏于“黑箱”之中,技术平台又未直接对公民作出承诺,二者之间无契约关系,公民对政府的信任便将难以维系。因此,中国城市在推进AI治理时,需要正视这一信任建构的维度,通过增强算法透明度、完善问责机制、扩大公众参与,夯实政府的合法性根基。为此,需将伦理原则转化为嵌入技术流程的治理机制,使公平、透明、问责成为数据治理、模型训练、输出审核的内置要求。
其二,制约智能体有赖于多元共创的格局。共创的核心在于“生成性”,即通过平台、场域和实验室等基础设施,动员分布式行动者的经验、知识和资源,协同解决复杂问题。当前“人工智能+城市治理”的社会协同,主要体现为政府与科技企业之间的合作:政府开放场景、提供数据,企业提供算法、算力和平台。[6]这种模式落地快、见效快,但也忽视了基本的社会逻辑,客观上将公民和社会参与置于边缘位置。《实施意见》明确倡导“多元共治、安全稳妥”,鼓励行业自律、信用评价,鼓励公众、企业、高校、科研机构积极参与。从“政企合作”走向“公民参与”,关键在于让居民对影响自己生活的算法有发言权。成都“文明兴蓉”平台推出“文明银行”积分体系、上海“一网统管”平台引入市民“随手拍”、云南大理市数字治理公众聚能平台利用区块链技术实现可信存证与共识激励,均为公众参与的初步尝试。但总体而言,公众多为被动的数据提供者,而非治理的共同设计者。未来的方向在于,将隐私保护、公平、透明等价值要求,从抽象原则转化为可操作的参与流程和申诉机制,从控制论式的闭环管理转向开放的、持续的、协商性的民主治理。
其三,制约智能体需要差异化的治理路径。《实施意见》提出“分类分级治理”,要求根据应用场景风险高低划定“可为”与“不可为”的边界,明确决策权限,确保用户拥有知情权和最终决策权。这些制度设计,正是为了把治理意愿转化为可操作的规则,但制度不能只写在纸上,须落到实处。当前,多数城市在算法透明和问责机制上的制度建设仍处于起步阶段。尽管部分城市出台了地方性法规,但大多数条款尚在探索之中,实际效果有待实践检验和后续补充,更多地方仍依赖国家层面的统一规范,制度供给明显滞后于技术应用。就此而言,技术制度化是一个在时长沉淀、节奏调适与时机把握中的迭代演化过程。[7]将项目试点的经验转化为稳定的制度规范,是当前亟待破解的现实问题。
给智能体立规矩,不是要给创新“踩刹车”,而是要为它在服务城市、服务市民的轨道上画好线、安好护栏。制度跟上,技术才能真正服务于人。人工智能不会停下脚步,但城市治理的方向,终究掌握在人的手中。
参考文献:(略)
作者简介:吴晓林,南开大学周恩来政府管理学院、国家治理研究院教授,南开大学前沿交叉研究院研究员。
基金项目:国家自然科学基金项目 “特大城市数字化风险防控的组织体系重构:风险演化、技术赋能与韧性跃迁”(项目号: 72574110);中央高校基本科研业务费项目“城市治理现代化”(项目号:340-63263038)。