郭喨，浙江大学科技哲学博士；

张立，浙江大学副教授、哲学系副主任；

盛晓明，浙江大学教授，浙江大学科技与社会发展研究所所长。

亮点：

●通过主动推荐、被动监视和间接收集，随时都在产生数据的人类个体的碎片化信息被大数据等技术手段重新整合，人类面临数据丢失、行动和偏好透明化等风险。

●人工智能根据有限现有信息对人类进行大量重复而同类型的“个性化推荐”，导致人类陷入“喜欢的—推荐的—喜欢的”的自反陷阱无法逃离，切断了人类对新鲜、陌生与异质世界的接口，导致人类体验、视野越来越狭隘，对人类思想、认知与行为都将产生重大影响。

●而所谓“数据即财富”其本质就是“隐私即财富”，只是需要通过技术调适、公众协商实现数据、隐私保护与商业、社会发展的有机平衡。

当代智能技术的集成和演化正在引发社会结构和社会秩序的深刻变革。尤其需要重视的是，在某些技术领域，如移动互联和大数据研究，我国已经处于世界领先地位，这种变革可能在我国率先出现。

当前，新的智能技术正在快速进入我们日常生活的每一个角落，悄然改变着人们的价值观念、认知架构与生活方式，进而直接或间接改变社会经济与政治秩序。

我们在享受新技术的同时也要警惕新风险——智能技术进入了新的集成阶段，人类新的生活方式和需求又将进一步促成并改变智能技术的集成和演化方向。这之中蕴藏着巨大的不确定性，我们将由这种不确定性引发的风险归为社会风险。

与伦理风险相比，社会风险的覆盖面更大、影响更持久、长远和深刻；同时，社会风险通常是相对具体的，可以通过包括实验在内的实证手段进行预估和防范。

信息失控 民主退化

目前，智能技术进入了新的集成阶段：人工智能、机器人技术、移动通讯技术、大数据和云计算技术融合取得了突破性的进展。技术集成不是多种技术的简单相加，集成会产生“突变”“涌现”的智能体，从而改变人工智能演化的路径。

智能技术集成和演化的社会风险主要体现为人类主体性丧失和独立性削弱，首先带来信息失控和信息垄断问题。“失控”和“垄断”看似两个相互冲突的问题，却同时在当前智能技术集成和演化的社会中出现。当前，人类信息普遍“在线”、信息传播普遍“在线化”。然而，在信息本身“去中心化”的同时，信息入口却越来越“中心化”。

在越来越多的智能技术影响下，我们正面临着信息失控和信息垄断的问题；正逐渐失去对信息的控制权。主要信息入口正在被弱人工智能垄断并将逐步移交给强人工智能。

人类正在失去面对信息的“自主”能力，具体表现为：各类信息获取前所未有地便利；信息垄断前所未有地严重，信息入口的马太效应显著，Google、百度和部分超高频App逐渐成为“信息入口寡头”；虚假和恶意信息的生产、传播前所未有地便捷，影响范围前所未有地扩大；“技术焦虑与信息迷失”成为人类普遍的生存状态。

另一方面，过滤泡沫和民主退化也是风险之一。人工智能根据有限现有信息对人类进行大量重复而同类型的“个性化推荐”，导致人类陷入“喜欢的—推荐的—喜欢的”的自反陷阱无法逃离，切断了人类对新鲜、陌生与异质世界的接口，导致人类体验、视野越来越狭隘，对人类思想、认知与行为都将产生重大影响。其政治意义在于，这将有害于包容异见的民主的发展，因为，我们通过网络获得的都是同质的观点，难以在现实中“容忍”异议。我们预测，这一负面效应将很快显现而且可以测量。

隐私丧失 决策依赖

智能技术集成和演化的社会风险还包括数据和隐私风险。通过主动推荐、被动监视和间接收集，随时都在产生数据的人类个体的碎片化信息被大数据等技术手段重新整合，人类面临数据丢失、行动和偏好透明化等风险。

这些数据被储藏、整理、买卖交易，人类的价值和尊严正遭遇严重挑战。一些“高技术”的网络攻击，如今年5月13日大范围爆发的勒索病毒Wanncry就造成了巨大的数据损坏和几十亿元的损失。而所谓“数据即财富”其本质就是“隐私即财富”，只是需要通过技术调适、公众协商实现数据、隐私保护与商业、社会发展的有机平衡。

人类生活的自主性丧失，对人工智能的依赖增强，则会产生决策依赖问题。在非常短的未来里，由于强人工智能的决策远远优于人类，越来越多人类放弃自主决策而完全依赖人工智能，成为人工智能的人体“人替”（avator）。对这类风险的宏观警示已经出现，如杰出物理学家斯蒂芬·霍金严肃指出，“人工智能的发展最终会导致人类族群的灭绝”。

但是无论国内还是国外，先进入智能集成和演化体系的内部后跳出来考察其社会和伦理风险的研究并未出现：就整体而言哲学家持一种技术批判的外在立场对待这些技术，而技术专家则对哲学家们“大而无当”的批评置若罔闻，他们忙于推进这些具有内在风险，但暂时还不会在实验室中爆炸的技术的具体研究。这种跨学科的相互批评和无视乃至敌视的现象本身也部分地与当代技术集成所带来的知识鸿沟有关。

风险评估与治理

当代智能技术的集成和演化正在引发社会结构和社会秩序的深刻变革。尤其需要重视的是，在某些技术领域，如移动互联和大数据研究，我国已经处于世界的领先地位，这种变革可能在我国率先出现。

如果不能敏锐地认识到这些变革，并及时有效地回应、及时改变社会治理方式，就很可能会酿成社会危机。而且，在今后的技术集成和演化条件下这种危机往往是灾难性的。技术整体则包含了更大的风险，新技术已经形塑了当代人类的生活空间，“逼迫”人类改变自己的生活方式以适应该环境。我们计划通过实验研究的途径探讨社会风险形成的微观机制，以及化解风险的治理方式的产生过程。

（作者单位：浙江大学）

文章来源：《中国科学报》 （2017-08-10 第5版）

科学网新闻·网址：http://news.sciencenet.cn/htmlnews/2017/8/384744.shtm