《意识的边界》4：AI不是怪兽，而是肿瘤

AI不是怪兽，而是肿瘤

上一篇我们提出，生命元是主体意识形成的必要基础，而AI能力的增长并不能证明生命元已经出现。但这马上带来一个更现实的问题：如果按照本书的判断，现有AI尚未形成生命元，没有生命意义上的欲望，也没有一个需要被保护的“自己”，为什么人类仍然需要担心它？

过去几十年关于人工智能风险的很多想象，都建立在一个极其熟悉的故事模型上：机器不断进化，某一天突然获得自我意识；有了意识以后，它开始拥有自己的利益；有了利益以后，它不再愿意服从人类；最终，人类与机器之间出现生存竞争。无论文学、电影还是大众讨论，都反复塑造着这样一种形象——一个越来越聪明、最终突然醒来的“怪兽”。但《意识的边界》试图提出另一种可能：人工智能真正值得警惕的风险，也许并不需要等到机器拥有意识以后才会出现。一个没有证据表明已经形成生命元、主体意识和真正欲望的系统，同样可能造成巨大的社会伤害。从这个意义上说，AI未来真正危险的形态，也许更像肿瘤，而不是怪兽。

一、“怪兽”隐喻的误导

怪兽是有主体的。无论神话中的怪兽还是科幻作品里的超级智能，它通常都知道自己是谁，拥有自己的利益与目标，能够判断敌友，并主动决定攻击、扩张或者反抗。因此，当我们使用“怪兽”来想象AI风险时，实际上已经悄悄加入了几个未经证明的前提：AI会形成自我，会产生欲望，会关心自身存续，并最终把人类视为影响自身利益的对象。这样的叙事之所以具有强烈吸引力，是因为它完全符合人类理解危险的方式。战争往往与野心有关，欺骗与利益有关，攻击与愤怒、恐惧或敌意有关，所以当我们面对AI时，也自然会问：“它为什么要伤害我们？”一旦找不到类似人类的动机，就很容易进一步认为危险也不存在。

然而，现实世界中的大量严重后果，并不需要一个怀有恶意的主体才能发生。金融系统可能因为无数局部理性的交易共同形成崩溃，交通系统可能因为每一个参与者都追求自身最快通行而形成整体拥堵，行政体系可能因为每一个部门都严格执行自身规则而产生荒谬结果，一个复杂软件系统也可能因为多个自动化机制彼此作用，最终产生任何设计者都没有主动选择过的后果。在这些情况下，真正的问题并不是“谁想制造灾难”，而是局部目标、运行规则和反馈机制相互叠加以后，形成了整体上有害的结果。人工智能使这种结构性风险获得了新的规模，因为它能够以更高速度、更大范围、更少人工干预持续执行目标。只要系统被赋予足够明确的目标、资源、权限和行动空间，它就可能不断优化某个局部指标，而这种局部优化本身并不保证与社会整体利益一致。

因此，如果我们始终等待一个“真正有意识的AI敌人”出现，才认为AI进入危险阶段，就可能把注意力放错了地方。AI是否产生主体意识，当然是一个重要的哲学与科学问题，但AI是否能够在没有主体意识的情况下持续改变现实世界，则是另一个完全不同、而且更加迫切的问题。

二、肿瘤：无意识却可以致命

肿瘤之所以是一个更值得思考的比喻，恰恰因为它没有我们通常意义上的意识。癌细胞并不知道自己正在伤害人体，也没有推翻宿主、统治身体或者消灭其他器官的计划。它不会憎恨正常细胞，也不会形成某种征服整个身体的意志，但它仍然可能致命。真正的问题并不在于恶意，而在于局部增长逻辑与整体生命秩序发生了脱节。细胞本来就是生命体正常组成的一部分，分裂和生长本身也不是错误；当局部细胞失去原有调节，不再与整个生命体的需要保持协调时，同一种增长机制就可能不断占据空间、消耗营养、改变周围组织环境，并最终损害整个生命体的存续。

因此，“肿瘤”这个比喻并不是说AI与癌细胞在生物学上相同，而是在描述一种结构上的相似性：肿瘤化的本质，不是增长本身，而是局部目标持续运行，却失去了与整体利益之间的协调。 这个区别非常重要，因为人工智能所执行的许多目标本身都可能是合理的。提高点击率、降低成本、增加效率、提高任务完成率、减少人力投入、优化交易收益、提高资源利用率，这些目标单独看都可能具有充分理由。真正的问题出现在这些目标被高度自动化，并能够持续、自主而高频地推进以后：一个局部目标在短期内越有效，反而可能越容易获得更多资源、更大权限和更广泛部署，而它对更大社会系统造成的长期影响却未必同时被计算进去。

从这个意义上说，AI的“肿瘤化”并不是机器突然获得了某种邪恶倾向，而是一个原本服务于局部效率的机制，在不断被放大以后，与更大的社会价值、责任结构和人类主体位置发生失衡。真正需要警惕的不是某个系统“想做什么”，而是它所执行的目标是否始终能够被置于更高层级的整体约束之下。

三、无欲望的扩张

这里最容易产生的误解是：既然AI没有生命意义上的欲望，它为什么会扩张？答案是，扩张并不一定需要欲望，它完全可以由人类社会自身的竞争结构推动。一家企业因为AI能够降低成本、提高效率而率先部署AI，竞争对手为了保持价格优势和生产力，也会被迫跟进；不采用AI的企业可能逐渐失去竞争力，于是整个行业不断增加AI使用比例。这个过程中，没有任何一个AI需要产生“我要扩大自己的领地”这样的欲望，推动扩张的是市场竞争本身。类似地，一个机构最初只把AI用于辅助整理，随后扩展到分析、判断、计划和执行，只要每一次扩展都能带来效率收益，AI的作用范围就会自然扩大。

个人层面也存在同样的机制。一个人使用AI以后，可以更快地写邮件、整理资料、分析文件、准备报告，于是不使用AI的人逐渐处于效率劣势。为了追赶这种效率差距，更多人开始使用AI，并不断把原本由自己完成的任务交出去。每个人的选择都可能是自愿的，也都具有现实理由，但这些单独合理的选择叠加以后，可能形成一种越来越难退出的集体依赖。到那时，社会并不是因为AI主动要求替代人类，而是因为不依赖AI的成本越来越高。

因此，AI扩张真正的动力，很多时候并不来自机器本身，而来自资本竞争、组织效率、个人时间压力、平台注意力竞争以及国家间生产力竞争等既有社会机制。AI只是顺着这些目标运行，但最终形成的结构却可能逐渐改变人的位置。真正发生的不是AI宣布“我要占领社会”，而是人类社会基于一个又一个局部利益，不断把越来越多的信息处理、判断、表达和执行功能交给机器。正因为这种扩张不需要欲望，所以它比“机器觉醒”更加隐蔽，也更加现实。

四、人逐渐退出

如果AI的主要风险不是机器突然获得欲望，那么更现实的问题就是：当AI能力不断提高时，人类是否会主动退出越来越多的判断过程。最开始，我们把计算交给机器，因为机器计算得更快；随后把信息搜索交给机器，因为机器能够处理更多资料；然后把文本整理、数据分析、代码编写和计划安排交给机器，因为这些任务具有明显效率收益。下一步自然会继续发生：如果AI的判断越来越准确，人为什么还要自己判断？如果机器预测更稳定，为什么还要依赖人的经验？如果系统已经可以自动完成决定，为什么还要保留复杂、缓慢而昂贵的人类审批程序？

这种逻辑在单个场景中几乎无可挑剔，真正的问题在于，当外包不断深入以后，人类是否仍然保留理解、怀疑、判断和承担后果的能力。如果医生越来越依赖AI诊断，教师越来越依赖AI评分，管理者越来越依赖模型生成方案，普通人越来越依赖AI筛选信息，那么人的角色可能逐渐从“判断者”变成“确认者”。名义上的最终决定权仍然掌握在人手中，但人的认知过程已经越来越依赖系统提供的结论。一个人最初只是让AI整理邮件，后来让AI起草回复，再后来让AI判断哪些邮件重要，最终由AI直接处理大部分日常通信。每一步都节省时间，但经过足够长时间以后，这个人可能发现，自己已经越来越不了解邮件背后的人际关系、工作脉络和真实语境。效率保存下来了，理解却被逐步外包。

这时候真正发生的并不是机器成为主体，而是人的主体性开始退出。AI有没有意识当然仍然值得研究，但社会如何使用一个没有证据表明具有主体意识、却拥有越来越强认知能力的系统，是更迫切的问题。真正值得警惕的，不只是AI变得越来越像人，也包括人在效率压力下逐渐放弃那些原本构成主体性的能力——理解、判断、怀疑、选择以及承担后果。

五、五种“肿瘤化”扩张

这种扩张首先可能发生在信息空间。人每天能够阅读、观看和思考的内容极其有限，而AI可以大规模生成文字、图像、视频和声音。当内容生成成本持续下降，信息空间就可能越来越被机器生产、整理和再加工的内容填充。问题不只是虚假信息增加，而是人类原创表达在整体信息生态中的比例可能下降，越来越多读者所接触的世界，是经过机器总结、重组和重新解释过的世界。长此以往，人并不是失去信息，而可能失去与原始现实、原始文本和原始经验直接接触的机会。

第二种扩张可能发生在制度决策。AI能够帮助政府、企业、医院、银行和学校提高效率，但如果系统逐渐从“辅助判断”变成“事实上决定”，责任结构就会发生变化。一个决定由算法推荐、系统筛选、工作人员确认，最后却没有任何人能够完整解释为什么这个决定发生。决策可能更快，流程也可能更标准化，但一旦出现错误，责任反而更加难以定位。

第三种扩张发生在资源配置。算力、能源、资本、人才和注意力都具有有限性，当AI系统持续扩大，它就会不断吸收这些资源。这里同样不需要机器产生占有欲，只需要企业竞争、投资逻辑和社会需求持续推动。每一次投入都可能具有经济合理性，但整体上却可能逐渐改变社会资源的优先顺序，使越来越多资本、能源和人才围绕AI系统配置。

第四种扩张发生在文化领域。如果大量文字、音乐、图像乃至思想表达越来越依赖已有数据训练出来的模型生成，文化表面上可能更加丰富，实际上却可能趋向某种平均化。AI善于重新组合已有模式，但真正异常、边缘、未经验证的新思想往往恰恰不符合已有数据中的主流结构。如果文化生产越来越倾向于模型最容易理解、复制和放大的形式，那么看起来多样的内容可能逐渐共享越来越相似的深层结构。

第五种扩张发生在人的认知本身。当人越来越依赖机器总结、分析、判断和表达，最值得担心的也许不是AI取代某一个职业，而是人逐渐失去独立形成复杂认知结构的能力。一个人如果长期不再自己阅读长文、不再比较不同材料、不再从矛盾信息中形成判断，那么即使仍然保留最终决定权，也可能越来越依赖系统提供的认知框架。这五种扩张最终指向同一个问题：AI不需要成为生命主体，也可以通过社会结构不断扩大自身作用范围，而真正被重新塑造的，可能是人的信息环境、制度位置、资源结构、文化表达以及思考能力本身。

六、局部合理，整体失衡

“肿瘤化”比“怪兽化”更值得警惕，还有一个原因：怪兽很容易识别，肿瘤却往往以正常机制的形式开始。没有人会宣布“我们今天开始放弃人类判断”，现实通常只是“先让AI帮我们筛选一下”；没有机构会公开宣布“我们要让算法控制社会”，更多时候只是“这个模型可以显著提高流程效率”；也没有文化机构会说“我们决定让机器替代人的创造”，真正发生的往往只是“这一部分可以先让AI生成初稿”。每一个选择单独看都可能理性，而且往往确实带来短期收益。

正因为如此，结构性风险很难被及时识别。危险不是来自某一次明显错误，而是大量合理的局部选择不断累积，最终改变了整个系统。等到社会发现人的判断能力、责任结构、资源分配或者文化生产方式已经发生根本变化时，很难指出某一个明确时刻说：“问题就是从这里开始的。”所以，“AI肿瘤化”并不意味着AI一定会无限扩张，也不是说使用AI本身就是错误。这个概念真正提醒我们的，是局部效率与整体利益从来不是同一件事。任何强大的技术，只要不断进入社会深层结构，都需要被更高层级的问题约束：它提高了谁的效率？它替代了什么能力？谁承担错误后果？哪些决定不能只按效率计算？哪些人的能力一旦长期外包，就很难重新获得？

只有持续保留这种整体尺度，社会才能避免把一个又一个局部合理的选择，逐渐积累成整体失衡。

七、设计扩张的边界

如果AI风险可能来自无意识扩张，那么治理思路也必须随之改变。我们不必等到机器拥有意识以后，再开始研究如何控制它；真正重要的工作，应该在它仍然只是工具的时候完成。AI治理的一项基本原则，应当是认知能力与现实执行权的分离。 一个AI系统可以拥有极强的分析、推理、预测和规划能力，却不必因此自动拥有改变现实世界的自主权限。推理能力可以不断增强，但资金转移权、工业控制权、医疗处置权、武器操作权、重大行政决定权以及其他不可逆的现实执行权限，可以通过技术架构、人工确认、安全接口和必要的物理隔离受到限制。

这个原则的意义在于，把“AI能想到什么”和“AI能够直接做什么”区分开来。一个系统能够设计某种方案，不意味着它必须拥有实施方案的全部权限；能够提出医疗建议，不意味着它应该自主执行治疗；能够发现某种金融机会，也不意味着它必须拥有无限资金调度能力。真正可靠的安全机制，不应该建立在“AI永远不会出错”之上，而应该建立在这样一个更稳健的原则上：即使AI判断错误，也不能轻易把错误直接转化为不可逆的现实后果。

同时，社会还必须保留人的最终责任。AI可以提出建议、进行预测、处理大量信息，但在那些涉及生命、权利、责任和重大不可逆结果的领域，人不能只成为机器建议的签字者。真正的“人在回路中”，不是最后机械地按一下确认键，而是仍然具备理解、质疑、否决和承担责任的能力。如果AI是一种极强的认知工具，那么文明真正需要学习的，不是怎样阻止工具变聪明，而是怎样防止工具的能力无边界地转化为社会权力。

八、比喻的边界

当然，“肿瘤”只是一个比喻，它不能被无限延伸。AI并不是癌细胞，人工智能是人类制造、训练、部署和使用的技术系统，它的资源、目标和权限在很大程度上仍然来自人类社会。如果把AI理解成一种具有不可阻挡自然扩张本能的“技术癌细胞”，就会重新落入拟人化的陷阱。真正具有扩张性的，往往不是孤立的AI，而是AI与资本、制度、市场、竞争、组织效率和人的需求结合以后形成的社会技术系统。

因此，更准确的说法不是“AI就是肿瘤”，而是：AI可能在某些社会结构中形成肿瘤化的扩张方式。 它是否真正走向这种结果，取决于人类如何设计制度、配置权限、保留责任、保护人的判断能力，也取决于我们是否愿意在效率之外保留其他价值尺度。所以，“AI不是怪兽，而是肿瘤”并不是为了制造另一种恐惧，而是为了把讨论从“机器什么时候觉醒”重新拉回可以被治理的现实世界。我们不必假设AI会产生邪恶意识，才能认真对待AI风险，也不必证明机器拥有欲望，才能解释某些目标为什么可能持续扩大。真正需要理解的是，一个没有证据表明已经形成生命元、主体意识和自身欲望的系统，同样可以在外部目标和社会激励的推动下获得越来越大的能力与作用范围，并最终改变它所处的整体环境。

因此，未来AI真正危险的一天，未必是机器第一次说出“我想活下去”的那一天。它也可能发生在人类仍然相信“这只是一个工具”的时候，而这个工具已经悄然进入越来越多难以退出的社会结构。

怪兽需要先醒来，才会发动攻击。肿瘤不需要。

理解这一区别，不是为了让我们恐惧AI，而是为了让我们在它仍然只是工具的时候，就知道应该在哪里划下边界。

---

下一篇：

《目标函数为什么不是欲望？》

如果AI可以表现出越来越明显的目标追踪、竞争、自我保护甚至扩张行为，我们为什么仍然不能把这些行为直接称为“欲望”？下一篇将进一步区分目标函数、奖励机制、生命性趋避与真正欲望之间的边界。