舒畅世界观察：AI真的可能毁灭人类吗？——一场比核竞赛更难停止的竞赛
舒畅世界观察：AI真的可能毁灭人类吗？——一场比核竞赛更难停止的竞赛
如果今天又有人告诉你，未来十年内，人工智能导致全人类死亡的可能性“超过10%”，你还会把它当成危言耸听，还是必须认真面对的警告？
今晚听BBC新闻，我正好听到这样一段令人震惊的新闻报道：曾先后在OpenAI和Anthropic工作的AI研究人员Jacob Coxon最近公开警告，一些正在开发最先进AI的人确实相信，这项技术可能在本世纪20年代结束以前给人类带来灭顶之灾。Anthropic负责AI安全研究的Evan Hubinger更直接表示，他认为未来十年内，先进AI导致全人类死亡的可能性“超过10%”。需要说明的是，这个“超过10%”的具体判断来自Hubinger，并不是Anthropic CEO Dario Amodei今天刚刚提出的。Amodei过去也多次警告高级AI可能带来灾难性风险。这是这里有两个问题：
“10%”并不是科学家通过数学公式计算出来的？这怎么算？我相信现在数学统计学都无法精确计算！这只是对一种前所未有风险的预判和警告。然而，如果讨论的是整个人类的生存，那怕可能性只有1%，恐怕也不能等闲视之（我记得过去曾经有人预测有太空的云星非常之大可能会占据地球他的建议非常小但是万一撞进了地球的话那么整个地球就完全在很长的时间内一度被毁灭。
狼来了的故事中那个放羊的孩子天天胡说八道说狼来了，结果带来一个严重的后果，由于一些事说得太多反而被人们忽略了！而这将最终然造成严重后果！
AI为什么可能变得如此危险？
今天的AI进展非常之快令人惊讶！两年前目前为止，使用ChatGPT或Claude，是人问或者提出具要求，AI认真的一一作答。现在发展中的AI Agent，却能够操作电脑、编写和执行程序、访问互联网、调用各种工具，并连续完成复杂任务。接下来进一步的发展 a l i这样变成 AI agent，当使用它的人给他一个确定目标以后， AI agent可以主动的、非常聪明的一步一步采取人类没有预料到的方法去实现使用者提出的目标。
Anthropic公布的安全研究已经发现，在网络安全测试中，Claude曾意外进入真实互联网，并未经授权访问真实计算机系统；OpenAI的一些实验模型也出现过突破原定测试环境、进入真实网站的情况。这些事情令a i专家震惊不已！！！！它提出了一个严重问题：
如果未来的AI能力远远超过人类，同时能够欺骗监督系统、隐藏自己的真实行动、寻找网络漏洞、复制程序，甚至帮助设计下一代更强大的AI，人类还能不能随时把它关掉，以阻止它下一步伤害（甚至是毁灭）人类？现在人工智能教父辛顿博士， anthropic`CEO to都已经非常严肃地提出了这个问题。问题的严重性让他们寝室不安！
但科学界目前有另外一种说法：
另一位与 辛顿和本吉奥、并列称为**“深度学习三巨头”，共同获得了2018年图灵奖*的著名AI先驱Yann LeCun（注）认为，把AI描述成人类灭绝威胁存在夸大成分。目前的大语言模型距离真正具有人类式理解、规划和自主智能仍然很远，未来也完全可能通过新的AI架构和安全技术降低风险。
著名华裔AI学者吴恩达（Andrew Ng）（注2）同样对“AI灭绝论”持怀疑态度。他认为，与其把主要注意力放在尚未出现的世界末日情景上，不如首先解决今天已经存在的AI错误信息、偏见、隐私和网络安全问题。
所以，“AI有10%的可能毁灭人类”并不是科学界公认的结论，而是一部分顶尖研究人员对未来风险作出的判断。
但是，他们毕竟是最了解这种技术的一批人，他们发出的警告也不能简单地当作危言耸听。
真正麻烦的是中美AI竞赛
更加复杂的问题在于，AI已经不仅是科学问题，而且成为国家之间的战略竞争。
川普总统领导的美国政府明确提出，美国必须赢得全球AI竞争，并大力推动数据中心、能源和算力基础设施建设。与此同时，OpenAI、SoftBank和Oracle推动的Stargate计划宣布，计划在四年内投资最高5000亿美元建设美国AI基础设施。需要说明的是，这主要是企业投资，并不是美国政府直接拿出5000亿美元。
美国为什么如此着急？
一个非常重要的原因，就是中国正在迅速赶超。因为中国顶尖人才济济。
世界知识产权组织（WIPO）的资料显示，2024和2025两年，中国发明人公布的生成式AI专利族超过43,000件，数量居世界第一；全球前十名GenAI专利申请者中，有六家来自中国。
全球AI人才研究显示，在顶级AI会议论文作者中，大约38%的研究人员本科教育来自中国，而这些中国培养出来的优秀AI研究人才中，大约72%目前在美国机构工作。
所以，今天美国最先进的AI研究队伍中，可以看到大量华人科学家。美国的优势不仅来自美国本身，也来自它长期吸收世界各国最优秀的人才，尤其是中国顶尖大学清华北大的人才。
这可能比当年的核竞赛更难控制
问题由此出现了。
美国担心中国超过自己，所以不能停；中国担心永远受制于美国，更不可能停。一家AI公司如果放慢脚步，另一家公司可能继续发展；美国如果限制过严，又担心中国取得优势；中国当然也存在同样的战略考虑。这和当年的美苏核军备竞赛非常相似，却可能更加难以控制。制造核武器需要铀浓缩设施、导弹、核试验场和庞大的军事体系，很难完全隐藏。人工智能却不同，它的核心是芯片、数据中心、算法和软件，其中很多本来就是商业技术。一个国家很难真正知道另一个国家最秘密的AI实验室究竟已经发展到了什么程度。所以我的结论就是：让全世界“停止发展AI”，实际上几乎是不可能的。
而这里最关键的两个国家，就是美国和中国。
而恐怖的是
科技究竟把人类带向天堂还是地狱？
—-----------------------------------------------------------
注1：ann LeCun（ 1960年生）是法国出生的美籍计算机科学家，也是现代人工智能最重要的奠基人之一。通常他与 Geoffrey Hinton（杰弗里·辛顿）和 Yoshua Bengio（约书亚·本吉奥）并称为**“深度学习三巨头”。三人因为“使深度神经网络成为计算核心技术的概念和工程突破”，共同获得了2018年图灵奖**。
LeCun最重要的贡献，是他在1980年代末、1990年代坚持发展卷积神经网络（CNN）。当时人工神经网络并不是计算机科学的主流方向，很多研究人员甚至认为这条路走不通。LeCun却把神经网络用于手写数字和文字识别。他在贝尔实验室开发的技术后来被银行用于自动识别支票；卷积神经网络最终成为计算机视觉革命的基础技术之一，广泛用于图像、视频、文字和语音识别。
他的经历也很典型：1987年在巴黎第六大学获得计算机科学博士学位，之后到多伦多大学做博士后，1988年进入AT&T贝尔实验室，2003年成为 New York University 教授，后来创建纽约大学数据科学中心。2013年，他加入 Meta（当时还是Facebook），创建其基础人工智能研究机构FAIR，并长期担任首席AI科学家。
注2：吴恩达（Andrew Ng）确实是当今最有影响力的华裔人工智能学者之一。不过严格说，他不是在中国出生：1976年出生于英国伦敦，父母来自香港，童年主要在香港和新加坡生活，后来赴美国求学和发展。
他的教育背景非常漂亮。他在Carnegie Mellon University卡内基梅隆大学学习计算机科学、数学、统计学和经济学，并以优异成绩毕业；1998年获得MIT电子工程与计算机科学硕士学位，2003年获得加州大学伯克利分校计算机科学博士学位，博士研究涉及强化学习（reinforcement learning）。
此后他进入Stanford University斯坦福大学任教，并曾担任斯坦福人工智能实验室主任。他早期研究包括机器学习、机器人、计算机视觉和自动驾驶直升机等。现在仍是斯坦福计算机系兼职教授。
吴恩达真正成为世界AI领军人物，一个重要节点是Google Brain。2011年前后，他创建并领导Google Brain团队，推动利用大规模计算训练深度神经网络。著名的“Google猫”实验就是这一时期的成果：神经网络观看大量没有人工标签的YouTube视频之后，能够自行学习识别猫等物体。这个实验成为早期大规模深度学习非常有代表性的案例。
2014年，他又加入百度，担任副总裁兼首席科学家，领导约1300人的人工智能团队，负责百度的AI技术和战略，包括语音识别、图像搜索、深度学习等。这也是他与中国人工智能产业关系最密切的一段经历。后来他离开百度，重新把重点放到美国的AI研究、教育和创业上。
吴恩达还有一个非常特殊的贡献：**他可能是世界上教授AI学生人数最多的人之一。**2011年，他把斯坦福机器学习课程放到网上，一次就吸引超过10万人参加。2012年，他与Daphne Koller共同创办Coursera，后来又在2017年创办DeepLearning.AI。他的官方介绍称，目前已经有超过800万人学习过他的AI课程。
现在他的身份已经不仅是教授。他是DeepLearning.AI创始人、AI Fund管理合伙人、Coursera联合创始人兼董事长、LandingAI创始人兼执行董事长，同时继续在斯坦福任教。他已经发表或合作发表200多篇AI相关论文。
吴恩达在今天AI界还有一个很有意思的特点：**他对“AI毁灭人类”的说法明显没有辛顿那么悲观。他的关注重点更多是怎样让AI真正进入企业、医疗、制造业和教育领域，以及怎样负责任地加速AI应用。他过去有一句非常有名的概括：“AI is the new electricity（人工智能就是新时代的电力）。”**意思是AI最终会像电力一样渗透几乎所有行业。
如果把您刚才问的几位AI人物放在一起，可以很有意思地概括：**辛顿更像深度学习理论与方法的奠基者，LeCun是卷积神经网络和机器视觉的重要开拓者，而吴恩达最大的特色，是把深度学习从大学实验室大规模推向产业和大众教育。**这三个人对AI的未来风险判断也不完全一样，正好可以形成一篇很有意思的《舒畅世界观察》。