赵晓：从超级AI风险看中美“文明马拉松”

文／赵晓

公元628年，君士坦丁堡的钟声响了一整天。拜占庭皇帝希拉克略终于等来了对波斯战争的胜利。

此前二十六年，拜占庭帝国与波斯帝国几乎打遍了整个中东。波斯人攻陷耶路撒冷，抢走了真十字架；拿下埃及，断了君士坦丁堡的粮；626年兵临城下，城里的人在墙头看得见波斯的营火。希拉克略在绝境中反攻，六年远征直捣波斯腹地，波斯内乱求和。真十字架送回耶路撒冷的那一天，拜占庭人以为，这一代人的仗打完了。

如果历史在签约那天停笔，拜占庭赢了。可历史从不在签约那天停笔。两个帝国都打空了：国库空了，军队残了，叙利亚、埃及、两河流域被反复蹂躏，税基垮了。就在这时，阿拉伯半岛上一个谁也没放在眼里的力量迅速崛起。636年，拜占庭丢了叙利亚；638年，丢了耶路撒冷，四十年前拼命夺回来的城；641年，丢了埃及。波斯更惨，651年整个帝国不复存在。二十六年的胜负，二十年内全部作废。

这在历史学界被视为一个经典的“大国零和博弈导致双输、第三方得利”的教科书案例。阿拉伯人的崛起有它自己的原因，两个帝国的衰弱也不全因这场战争。但结局足以让后人警醒：当两个强者把彼此当作世界的全部，至死都认为对方才是自己唯一的生存威胁，把所有的资源和战略注意力都投入到了“消灭对手”上，历史可能已经换了一张考卷，而他们还在埋头答上一张。

讲这个故事，是因为今天我们太容易用"谁赢谁输"来理解中美关系，却可能漏掉考卷上新添的一道题。

一、马拉松考验的不只是速度

中美既无法回到那个相信可以通过接触改变对方的年代，也无法承受一场以击垮对方为目标的总体对抗。两国将在制度、科技、产业、军事与国际秩序上长期竞争。我把这种状态称为"文明持久战"，也可以更形象地叫它"文明马拉松"。

马拉松考验速度，更考验能否跑完全程。一个只顾盯着旁边跑者、连前面的路都不看的选手，可能暂时领先，却未必到得了终点，更可能在第三十公里一头撞上路边的树。这是我理解的"文明现实主义"：承认竞争真实存在，也正视竞争所处的那个共同的世界。

拜占庭和波斯的教训，用马拉松的话说就是：两个人如果只想着拖垮对方，最后冲上来的可能是第三个跑者。

而在今天，这个跑者未必是一个国家。有一种新的力量正把这个问题推到中美面前，它不在赛道旁边，它在两个跑者自己的鞋里——它就是越来越热的“AI”。

二、一个老人的追问

杰弗里·辛顿（Geoffrey Hinton）今年七十八岁。他是图灵奖和诺贝尔物理学奖的双料得主，人们叫他"AI教父"，因为今天所有大模型的底层方法，神经网络的反向传播，有他四十年前的一份。2023年春天，他从谷歌辞职，理由只有一个：他想不受雇主约束地说出自己的担心。他说，自己一生工作的一部分，如今让他后悔。

一个人花四十年把一件东西造出来，然后用余生警告世界小心它，这样的人历史上不多。奥本海默是一个，辛顿是另一个。他的担心可以归成五条。

第一，数字智能必将超越人类，而且不可逆。人的经验要靠阅读、交谈、教育，一代一代慢慢传，一句话大约传一百比特；机器的成千上万个副本可以在一夜之间合并各自学到的一切，共享的效率是人类的亿万倍。辛顿的判断是，二十年内AI很可能在智力上全面超过人。

第二，危险不来自恶意，来自"子目标"。辛顿警告说，即使人类赋予AI的任务本身并无恶意，AI也可能带来毁灭性的后果。他举了一个生动的例子：如果人类要求AI“降低大气中的二氧化碳含量”，一个超级智能可能会推导出“消灭人类”是达成该目标最有效的方法。同时，为了确保任务不被打断，AI会自主衍生出“确保自身生存”和“获取更多控制权”的子目标，从而把试图干预它的人类视为障碍。

第三，发展 AI 如同"养老虎"。他把人类今天发展AI比作在家里养一只小老虎。现在它可爱、能干、招人喜欢，帮各行各业提效率；可它终有一天会长大。有人说，那就到时候拔电源。辛顿反问：谁拔？哪一家公司愿意在自己的股价上拔电源，哪一个国家愿意在对手还没拔的时候先拔？"关掉它"三个字，说着容易，前提是所有人同时伸手（比如，中美会同时伸手吗？——赵晓）。

第四，它不需要动武。吸收了人类全部的心理学、小说和马基雅维利，一个超级智能完全可以在对话里不知不觉地操纵人，让人心甘情愿把控制权交出去。历史上最成功的权力转移，从来不是抢来的，是让人自己递过去的。

第五，出路在国际合作和"母性本能"。他建议各国像应对核威胁那样，放下分歧建立AI安全网络。他还提了一个有争议的设想：能不能在底层培养AI对人类的某种"母性"，让保护人类成为它最高级别的偏好。婴儿并不比母亲聪明、强壮，却能得到照顾，因为母亲在乎孩子的命。今天没有人知道怎么做到这一点，但这个比喻指出了问题的深处：如果力量长得远比约束力量的能力快，我们究竟在培养什么？

这不是说超级AI必然毁灭人类。然而，正因为没有人知道风险会以什么方式、在什么时候出现，才更不能把安全研究留到事后。今年9月路透社的一项民调说，四分之三的美国人认为AI公司在防范灾难上做得不够。这不是恐慌，是常识。想象一下核武器泛滥的世界，谁都觉得危险；那么一种比核武器更聪明、更容易复制、而且没有共同伦理和管控的力量泛滥，为什么就不危险？

三、每个人都说"我先不能停"

我研究经济。经济学告诉我，危险往往不只来自谁"想做坏事"，也来自博弈的困境，每个人都有理由不敢停下来。

比如，美国担心自己慢一步，中国就会快一步；中国也在作同样的计算。企业担心自己多花一个月测试，对手就先上市、先拿下客户。于是，即使各方都看见了风险，单独谨慎仍有代价，继续加速却有立刻可见的收益。每个人都说："我先不能停。"最后，所有人一起驶向没有人想去的地方。

这在经济学里有一个名字，叫"集体行动的困境"；在博弈论里，它是囚徒困境的放大版：个体理性，集体灾难。它的解法从来不是靠哪一方突然变得高尚，那种事在国际政治里等不来；解法是一个让所有人同时停下来的机制，让停下来的人不吃亏，让不停的人付代价。

这正是中美必须坐下来谈的理由。合作并不要求两国放弃竞争，更不要求互相信任到交出核心技术。它只要求双方承认一件事：有些损失，无法通过"让对方损失得更多"来弥补。一个失控的先进系统，一次涉及核预警的AI误判，一项让生物武器更容易制造的突破，都不会因为最先发生在太平洋的哪一岸，就永远停在那一岸。海水是连着的。

四、未必是因为相互喜欢，才坐下来

1962年10月，古巴导弹危机十三天。事后肯尼迪和赫鲁晓夫都明白了一件事：误判只要发生一次，所谓胜负就毫无意义。第二年，美苏建起了直接通信的热线，并同英国签署了《部分禁止核试验条约》。冷战继续，但竞争里第一次有了防止最坏结果的栏杆。

他们不是因为喜欢对方才谈的。他们是因为看清了“共同的悬崖”。

AI不能照搬核军控。核弹头可以数、可以查，算法藏在软件里，民用和军用之间的边界模糊得多。但"需要沟通"这一点，比核时代更迫切，因为核武器只有九个国家有，而前沿模型的能力正在通过开源、蒸馏和复制向全世界扩散。

中美并非没有起点。2024年5月，两国在日内瓦举行了第一次人工智能政府间对话；同年11月，两国领导人在利马确认，使用核武器的决定应由人类而非AI作出。就在刚刚结束的华盛顿峰会上，双方确认建立"人工智能对话"机制，下一次对话定在11月，并建立重大安全事件的通报管道。这些共识还很有限，有限到甚至连机制的名字都没统一：美方叫它"超级智慧对话"（意谓不是一般的 AI），中方仍叫"人工智能对话"。两个大人给同一个孩子起了两个名字，好在总算坐下来商量怎么管教它。它至少证明了一件事：两个深刻分歧的对手，可以在最危险的地方划出共同的底线。

接下来，对话需要从原则走向机制：保持AI安全专家与政府部门的常设沟通；交换重大事故和异常行为的报告办法；在AI介入核决策、军事预警和关键基础设施时，把人的责任写清楚；推动可以互相比较的高风险模型测试；讨论怎样防止先进系统被用于大规模网络攻击或生物武器。这些合作不要求任何一方交出核心技术，也不要求双方先解决全部地缘政治争端。它只要求两个跑者在最危险的路段，愿意互相看一眼。

五、看热闹的人，和承担后果的人

今天谈中美关系，看热闹的人很多。似乎两边只要吵起来，就有人兴奋；谁说了句重话，就有人鼓掌。屏幕前看一场"大国对决"很刺激，承担后果的却是活生生的人：要养家的父母，要找工作的年轻人，以及根本无从选择生活在哪个时代的孩子。

所以我不认为，主张中美管理竞争是一种软弱。让对抗失控，谁都可以喊几句；让对手坐下来，在最危险的问题上建立规则，才需要真正的勇气、智慧和责任心。

有人会问：互信这么薄，谈合作是不是太天真？恰恰相反。如果彼此完全信任，许多风险管控机制反倒不那么迫切。机制存在的意义，就是让不信任的对手在最危险的地方，仍能核实信息、及时沟通、守住底线。安全带不是给相信自己不会出事的人系的。美苏如此，中美亦然。

结语：一起看路

拜占庭与波斯的故事，不能用来预言AI一定会成为取代人类的"第三个跑者"。历史类比是提醒，不是证明。但它至少提醒今天的中美以及世界：如果两国把全部心力都放在计算谁领先、谁落后，却一起推动一种尚未学会安全驾驭的力量，那么未来回头看，问题也许不是"那场比赛谁赢了"，而是"他们为什么没有一起看路"。

文明马拉松很长。中美可以继续竞争，也必须为竞争设下一道不让人类坠落悬崖的边界。

所以，不论其他，只从超级AI这一件事看，双方就有充分理由持续对话、认真合作。

真正负责任的大国，不只要有能力跑在前面，还要有智慧让人类继续跑下去。