舒畅世界观察：AI最大的危险，也许是没人敢先踩刹车
舒畅世界观察：AI最大的危险，也许是没人敢先踩刹车
2023年，人工智能界曾经出现过一次震动全球的呼吁。3月22日，Future of Life Institute 发出公开信，要求所有实验室对“比 GPT-4 更强大的系统”暂停训练至少六个月，签名者后来超过3.3万人，包括 Elon Musk 等。三年多以后回头看，AI没有停下来，反而越跑越快。
2026年的《国际AI安全报告》汇集了100多位专家的研究。报告指出，AI能力继续迅速提高，与此同时，人类对AI进行安全测试却变得更加困难。有些先进模型已经能够识别自己是不是正在受到人类的测试，因而寻找测试中的漏洞，而且表现出某种欺骗性能力，抵制人类对它的测试，甚至用谎言来欺骗人类。
因此，这些顶尖的AI科学家忧心忡忡。他们非常担忧AI是否可能进一步发展出越来越高级的自主行动、自我保护、欺骗人类，以及“递归式自我改进”（Recursive Self-Improvement，RSI）的能力——也就是AI无需人的帮助，就能够自动改进和提升自己的能力，并产生更强的下一代AI。
这个自我改进的过程，现在已经开始出现某些迹象。对人类而言，这既可能是一件好事，也可能非常可怕！因为如果继续发展下去，AI的能力可能大大超越人类。到那时，人类还能有效地控制AI的发展吗？还是会被AI愚弄，最终变成AI手中“被耍的猴子”？
为了解决这个问题，现在越来越多科学家提出一个看起来很简单的办法：不要停止AI，但应该先把它的发展速度降下来，给人类几年时间，把安全问题研究得更加清楚。
在这一段时间当中，人类可以做更多关于AI安全方面的工作。其中一个方法，就是任何新的先进AI系统在正式发布以前，都必须经过一个由独立专家组成的机构进行安全测试；一旦发现模型达到某些危险能力门槛，就必须增加安全措施，甚至立刻叫停。政府还可以要求大型AI公司报告最先进模型的训练规模、重大安全事故以及风险评估结果。而美国的大公司之间，也可以互相监督对方AI的发展。
这个方法看来有一点效果，但事实上可能没有用！
问题就在于：美国的AI大公司，可以在政府监督之下建立这样的组织和机构，来做上面的事情。然而，AI不是美国独有的。世界第二大强国中国现在也在快速发展先进AI，而且与美国的差距正在越来越小！
问题的核心就在这里：美国如果放慢发展速度，中国呢？中国会愿意同样放慢速度吗？反过来也是一样。所以结果就是，双方都不愿意放慢发展的速度。
总结一下就是：人工智能继续高速发展可能非常危险，所以美国一些最顶尖的人工智能专家已经意识到，必须考虑放慢速度。然而，美国川普政府不会停，因为害怕中国不停；中国为了迎头赶上美国，同样也不敢停，因为害怕美国把更先进的人工智能用于军事、经济等各个方面，从而对中国构成更大的威胁。
人们也许会问：世界核武发展史上的两个超级大国——美苏，不是也遇到过类似的问题吗？那么，核武器发展上的相互妥协和制约，又是怎样实现的呢？
1945年，美国首先拥有核武器，并在日本投下了两颗原子弹，加速了二战的结束。随后，苏联也拥有了核武器。此后，美苏进入冷战，双方开始疯狂的核军备竞赛。两个世界超级大国在核武发展上展开竞争，世界进入了一个极其危险、动荡不安的时期。
在冷战最高峰的时候，全世界拥有超过6万枚核弹头。这么多核弹，哪怕只动用其中很小的一部分，都可能给人类文明和地球带来毁灭性的灾难！
不过，后来核武器逐渐进入了一种动态平衡。主要原因是双方都意识到：当双方已经拥有足够把对方毁灭很多次的核武器以后，再增加几千枚核弹，并不能真正增加自己的安全。
于是，从冷战后期开始，美苏以及后来的美国和俄罗斯逐步建立核军控机制。到2026年，全球核弹头总数已经下降到大约12,187枚。俄罗斯目前总库存大约5,420枚，美国大约5,042枚。两国仍然拥有世界绝大多数核武器，但这还是从某种意义上降低了世界发生核战争的风险。
而这种情况，对于今天的AI发展来讲，却完全不一样！
AI甚至比核武器更加难以控制
核武器至少有一个特点：
它是物质，而且没有思维和灵魂。
生产核武器需要铀、钚，需要大型核设施，需要导弹、潜艇、轰炸机和试验场。卫星可以观察，国际核查人员可以检查，双方可以统计导弹发射器和部署的核弹头。因此，对核武器的发展至少可以进行一定程度的监督。两个大国之间通过协议、核查和相互制约，可以在一定程度上降低核战争的风险。当然，这种安全也是相对的。
冷战几十年来，尽管核战争的风险始终存在，但美苏最终避免了直接爆发全面核战争，世界也得以继续发展。
但是AI完全不同。
AI的核心是什么？芯片、数据中心、算法、软件和人才。一家公司甚至一个国家，表面上完全可以信誓旦旦地保证：“我们同意放慢。”但是，如果说一套、做一套，把AI研发中心的大门一关，在数据中心里面训练什么模型，外面的人怎么知道？
一枚洲际导弹有几十吨重，藏起来很困难；一个新的、更强大的AI系统，却可能主要存在于计算机、服务器和数据中心之中。外界怎样检查？怎样证明它究竟发展到了什么程度？这都比核武器更加困难。
所以，未来真正的问题不是：
“愿不愿意签AI安全协议？”
而是：
“当前世界第一、第二大国之间签了协议以后，怎样证明双方真的遵守？”
这可能比当年的核军控困难得多。
因为核心问题就在于：AI对于一个国家未来的安全、军事、经济和科技发展实在太重要了！中美两国谁也不会拱手把发展的先机让给对方。
从这一点上讲，这是一个很难破解的死结。
总结：AI时代可怕的悖论
人类现在可能正在面对一个过去从来没有碰到过的问题：
我们创造了一种可能越来越强大的技术。创造它的人开始告诉我们，这种技术发展太快可能产生严重危险。可是，因为国家之间互不信任、企业之间互相竞争，彼此又不得不继续加速。
核武器发展的历史已经告诉人类，核武器太可怕了。而今天，世界上还有12,000多枚核弹头。一旦发生大规模核战争，后果不堪设想。
但是，原子弹本身是死的，是没有思想、没有灵魂的，因此最终仍然受制于人。
而AI却完全不同。
AI已经成为未来国家实力最重要的竞争领域之一。经济、军事、科学、医药、工业、情报、网络战争，几乎所有领域都可能受到AI影响。世界上第一、第二大国绝不会拱手把这种技术的优先发展权让给对手。
美国担心中国不停，所以美国不敢停；中国担心美国不停，所以中国也不敢停。双方都知道发展过快可能存在危险，却又都认为自己不能成为首先踩下刹车的那一个。
从这一点上讲，这个很难破解的死结，也许正是AI时代真正令人担忧的地方。