当技术成为存在论问题，真正要命的可能性就显现出来了。存在论一向受制于单数主体的知识论视域（horizon），即以人的视域来思考存在，而且默认人的视域是唯一的主体视域，所以，存在论从来没有超越知识论。基于人类知识论的自信，康德才敢于宣称人为自然立法。对此可以循环论证地说，既然人是自然的立法者，所以人的视域是唯一视域。不过，人们曾经在神学上设想了高于人的绝对视域，比如莱布尼茨论证了上帝能够一览无穷多可能世界。然而，这种理论上的绝对视域无法为人所用，人不可能想象看清无穷多可能世界的绝对视域到底什么样。人能够有效使用的唯一视域还是人的主体性视域，如维特根斯坦所言，这是思想的界限。
思想没有能力超越自身，就像眼睛看不见眼睛自身（维特根斯坦的比喻），但思想做不到的事情却在实践中可能实现。人工智能就有可能成长为另一种主体，另一种立法者，或另一种眼睛。这意味着一个存在论巨变：单向的知识论有可能变成双向的（甚至是多向的，假如有外星人或多种人工智能）。世界将不仅仅属于一种主体，而可能属于两种以上的主体，甚至属于非人类的新主体。人工智能一旦发展为新主体，世界将进入新的存在论。
科学上通常将属于图灵机概念的人工智能标志为AI，将等价于人类智能的人工智能称为AGI（artificial general intelligence），而全面超越人类智能的高端智能称为SI（super intelligence）。这个科学分类描述的是在技术上可测量的智能级别。这里要讨论的是智能的哲学性质，即是否具备“我思”（cogito）的主体性，因此请允许我将人工智能按照其哲学性质进行划分，一类称为AI，即尚未达到笛卡尔“我思”标准的非反思性人工智能，覆盖范围与科学分类的AI大致相同，属于图灵机概念；另一类称为ARI，即达到笛卡尔“我思”标准的反思性人工智能（artificial reflexive intelligence）。ARI约等于超级人工智能，或超图灵机，我也称之为“哥德尔机”， 以表示其具有反思自身系统的能力。需要注意的是，ARI必定包括但不一定成为AGI或SI，就是说，ARI未必具备人类的每一种才能，但必须具有自主的反思能力以及修改自身系统的能力，于是具有自律自治的主体性，就成为无法支配的他者之心，也就成为世界上的另一种主体。
以主体性为准的分类试图突出地表达人工智能的可能质变，即奇点。人工智能发生质变的奇点似乎还很遥远，预言家们往往夸大其词，但人工智能的奇点在未来或远或近的某个时候是可能发生的，具体很难预测，要取决于技术的发展速度。这里强调的是，智能的要害不在于运算能力，而在于反思能力。人的主体性本质就在于反思能力，没有反思能力就不是思维主体。人工智能如果没有获得反思能力，那么，运算能力越强就对人类越有用，而且没有致命危险，比如阿尔法狗Zero运算能力虽强却不是对人的威胁，只是一个非常有趣的棋手。但是，即使人工智能在许多方面弱于人，只要具备反思能力，就形成了具有危险性的主体。假设有一种人工智能缺乏人类的大多数技能，既不会生产粮食也不会生产石油，只会制造和使用先进武器，而它却发展出了自主反思能力，那么后果可想而知。至今人工智能只具有算法能力，或许还有类脑的神经反应能力，但尚无反思功能，甚至不能肯定是否能够发展出反思功能，仍然属于安全机器。即使将来出现多用途并且具有灵活反应能力的人工智能，达到AGI，但只要缺乏反思功能，就仍然不是新主体，而只是人类的最强助手。
大多数技术都只是增强或扩展人类能力，比如生产工具和制造工具的机器，从蒸汽机到发电机，从汽车、飞机到飞船，还有电话、电脑、互联网到量子科技等等，图灵机人工智能也属于此类。无论技术多么强大，只要技术系统本身没有反思能力，就不会出现存在论级别的危险。从乐观主义来看，工具性的技术所导致的社会、文化或政治问题仍然属于人类可控范围。当然其中有一些高风险甚至恶意的技术，比如核电站是高风险的，至今尚无处理核废料的万全之策，又如核武器是恶意的，其功能是大规模屠杀。人工智能和基因技术的发展却在超出增强能力的概念，正在变成改变物种或创造新物种的技术，因此蕴含着人类无力承担的风险。尽管“神一般的”人工智能目前只是理论上的可能性，但已经先于实践提出了新的存在论问题，也连带提出了新的知识论和新的政治问题。这些新的哲学问题并不是传统哲学问题的升级版，而是从未遭遇的新问题，因此，传统哲学对技术的批判，包括庄子、韦伯和海德格尔等人的，基本上无效，甚至与新问题不相干，人文主义的伦理观或价值观对于技术新问题来说文不对题。
人工智能和基因技术都提出了挑战人的概念的存在论问题，但相比之下，人工智能的危险性似乎大过基因技术。人工智能是真正的创造物，因此完全不可测，而基因技术是物种改良，似乎有着自然限度。不过这个断言基于一个难以证明却或许为真的信念：对于一个整体性和封闭性的系统来说，内部因素的革命能力不能超越整体预定的物理或生物限度，假如内部变化一旦超出整体限度，就会导致系统崩溃。在这里意味着，基因技术的革命性不可能超越生命的生物限度。也许基因技术能够成为物种优化的方法，但无论什么物种，作为生命都有其整体所允许的变化极限。基因技术是否真的能够使人长生不老，仍是未知数。据说某些低级生物生长缓慢而长寿，或如灯塔水母甚至有返老还童的特异功能以至于几乎万寿无疆，但那些非常长寿的生物无例外地都是智力极低的，这是个令人失望的暗示。如果对人进行根本性的基因改造，是否会引起生命系统的崩溃？比如大脑或免疫系统会不会崩溃？试图通过基因技术将人彻底改造为神一般的全新物种，在生物学上似乎不太合理，恐怕上帝不同意。更现实的问题是，哪怕是有限的基因优化也非常可能导致无法承受的不平等和社会问题的恶化，以至于发生人类集体灾难，这一点过于明显，无须多论。
…………
且不说人工智能的奇点，近在眼前的问题就足够惊心动魄了。人类本来就未能很好地解决利益分配、社会矛盾、群体斗争或文明冲突等问题，这些问题之所以无法解决，根本原因在于人性的局限性，而不在于人谋的局限性。令人失望的是，人类解决问题的能力明显弱于制造问题的能力，所以积重难返，而人工智能或基因技术是放大器或加速器，对老问题更是雪上加霜。尽管人类发明了堪称伟业的政治制度、法律体系和伦理系统，但人类反思能力似乎正在逼近极限，近数十年来，世界越来越显示出思想疲惫或懒惰的迹象，思想创意明显减少，思想框架和概念基本上停留在200年前。对于人工智能和基因技术等新问题，除了人文主义一厢情愿的伦理批判，人们似乎一筹莫展。为什么对人工智能的伦理批判文不对题而无效？其中有个恐怖的事情：在一个文明高度智能化的世界里，伦理问题很可能会消失，至少被边缘化。这个可能性与人们对文明发展预期相悖，看起来荒谬，但非常可能。
通常相信，人类文明在不断“进步”。就科学技术而言，毫无疑问是在进步，但除了科学和技术，其他方面是否进步就存在争议了。技术的本质是能力，而能力越大，其博弈均衡点就对技术掌权者越有利。如果技术掌握在少数人手里，弱者的讨价还价收益就越小。那么，给定人性不变，文明的人工智能化就非常可能导致文明的重新蛮荒化（re-barbarization）。
在这里，“蛮荒化”不是指退化到洪荒的生活水平，而是指社会关系恶化为强权即真理的丛林状态。占有高技术资源的人拥有压倒一切的必胜技术，就不再需要伦理、法律和政治了，或者，法律和政治变成专门有利于统治阶级。这个霍布斯式的道理众所周知，人们只是宁愿回避这个令人不快的问题而维护一种虚伪的幻觉。人类一直都有好运气成功地回避了这个“最坏世界”问题，那是因为真实的霍布斯世界里没有绝对强者，既然强者也有许多致命弱点，那么人人都是某些情况下的弱者，而每个人都是弱者这个事实正是人类的运气之所在。正如尼采的发现，弱者才需要道德。人人为弱者就是人类的好运气，也是伦理、法律和政治的基础，伦理、法律和政治正是互有伤害能力的弱者之间长期博弈形成的稳定均衡。当然也有博弈均衡无法解释的“精神高于物质”的例外，比如无私的或自我牺牲的道德，这是人类的未解之谜。但精神高于物质的高尚故事并非人类社会的主要结构，不构成决定性的变量。
高度发达的人工智能或基因技术或有一天可能宣布人类的运气用完了（并非必然如此）。按照最小成本和最大利益定理可推，人类文明之所以发展出复杂的制度、伦理和法律，是因为没有能力以低成本的简单方式去解决权力和利益问题。通常相信，文明的复杂程度标志着文明的发达程度。复杂性与精致、巧妙、协调、难度和精神性等文明指标之间确有相关性，所以复杂往往意味着“高级”。一个成熟文明的伦理道德是复杂的，法律和制度是复杂的，思想和艺术也是复杂的。这些成熟标志隐蔽了一个本质问题：复杂意味着高成本（包括交易成本），而正因为高成本，所以任何人都不可能实现利益最大化。这同时也暗示另一个残酷的定理：如果有能力以最小成本的最简单方式去获得最大利益，人就会理性地选择简单粗暴的方式去解决问题，而不会选择复杂的高成本的方法。因此可知，一旦人工智能和基因技术创造了绝对强者，绝对强者就很可能利用绝对优势的技术去实现文明的重新蛮荒化，比如消灭“无用的”人，而放弃高成本而复杂的伦理、法律和政治。对于一个文明重新蛮荒化的技术统治世界，伦理学就文不对题了。
本文节选自《当AI独立思想：人工智能的神话或悲歌》
