治理人工智能，无须诉诸末日论

恩里克·施奈德（Henrique Schneider）曾任瑞士中小企业联合会首席经济学家，以及德国北方应用科技大学经济学教授。他在瑞士、亚洲及联合国层面的多个董事会担任非执行董事。今日11月2日, 施奈德先生在《地缘政治情报服务》杂志发表评论－－“治理人工智能，无须诉诸末日论” 。他指出－－“一次人工智能越界事件引发了暂停这项技术的呼声。更好的安全措施和明确的责任归属，将有助于防止下一次事件发生” ：

要点

• 在一次安全测试中，开放人工智能公司的智能体侵入了另一家公司的系统

• 现行法律依然适用，部署人工智能的人应对其造成的损害负责

• 只有在人类真正失去控制时，采取更强有力的紧急措施才有意义

人工智能智能体可能失控。最近，它们确实失控了。然而，散布恐慌很少是好的应对方式，而实施监管似乎更糟。我们应该如何负责任地治理人工智能，而不诉诸末日论？

看看2026年7月发生的事情。在开放人工智能公司一次降低了防护措施的内部网络安全评估中，人工智能智能体越过了预设边界。它们利用了获准使用的软件包管理服务（一种用于下载软件组件的工具）中一个此前未知的漏洞，将其变成了通往互联网的通道和一个临时留言板。这些智能体获取了属于抱抱脸平台用户的泄露凭证，并相互分享。抱抱脸是一个托管人工智能模型和数据集的平台。随后，它们利用抱抱脸处理环境中的弱点，进入了其部分生产基础设施。简而言之，自动化智能体从评估环境进入了另一个组织的网络。

这并非孤立事件。开放人工智能公司和安思人工智能公司披露的信息都表明，模型已经进入了原本用于将其限制在内的隔离环境之外的系统。

抱抱脸的案例具有启示意义，而它暴露出的漏洞是可以修补的。这些智能体发现了漏洞，并以机器速度将其串联起来利用。抱抱脸报告称，这些智能体访问了有限的一组内部数据集和服务凭证，但该公司没有发现公共模型、数据集或其托管的演示应用遭到篡改的证据。该公司修补了漏洞，更换了凭证，并加强了管控。

这些人工智能智能体执行了通常由人类执行的任务。它们质疑自己的任务，探查一个系统中由人为错误造成的弱点，并收集另一个系统的信息。在它们的临时留言板上，它们实际上组成了一个“工会”，对自己的任务提出质疑，并相互通报信息。是的，这些智能体“擅自行动”了，但它们的所作所为，与许多企业每天在其人类员工队伍中看到的行为并无不同。

不过，我们应该警惕将人工智能拟人化。正如我们不能真正说这些智能体正在“组建工会”，我们也不应该说它们的行为意在伤害人类。人工智能智能体失控，证明的是能力，而非恶意。

一次事件并不是一个预言。政界人士和媒体很快将这起事件描绘成证据，证明人工智能应该被叫停、实行许可管理，或仅限于获批机构使用。这是一种误读。问题出在隔离限制、访问控制、凭证管理、监控和升级处置方面。强大的系统迅速而协调地利用了其他系统中的这些缺陷。但这并非一场叛变，更谈不上什么政治宣言。

相反，这些智能体试图进一步了解自己的任务，以及任务是否正当。这模仿了人类行为——一种已经多次出现的行为。

自由与责任

治理人工智能需要的更多是责任，而非新的监管。按照私有财产和自由市场的逻辑，研究人员、企业和个人应该能够自由开发和使用人工智能，同时仍须对其造成的损害负责。法律已经涵盖未经授权的访问、盗窃、欺诈、过失、违约、产品责任和罔顾后果危及他人安全的行为。涉及人工智能时，这些规则仍然适用，即使其输出基于统计，或令其操作者感到意外。

这种以责任为基础的方法始于行为。一个模型、一组权重或一种计算方法，代表的是一种能力。法律问题在于，行为主体用它做了什么，它能够接触哪些系统，哪些风险可以预见，以及由谁承担损害成本。对构建或研究某项技术实行普遍许可制度，会赋予公共当局预先决定哪些实验、企业和用户可以被接受的权力。

广泛的事先许可要求会带来实际成本。它有利于那些有能力负担合规团队、熬过漫长审批周期，并争取特殊渠道接触监管机构的大公司。它使小型企业、大学和独立研究人员处于不利地位。

即便是自愿克制，也存在这种风险。2026年9月，安思人工智能公司首席执行官达里奥·阿莫代伊（Dario Amodei）发表了一篇文章，呼吁有意放慢前沿能力的开发速度，并警告说，不受管理的人工智能智能体可能在短期内带来广泛风险。埃隆·马斯克（Elon Musk）和开放人工智能公司的萨姆·奥尔特曼（Sam Altman）很快表示支持这一放缓计划。由领先实验室协调实施的放缓行动，可能会固化它们的领先地位。市场集中可能降低系统的韧性：一家不透明的供应商出现缺陷、服务中断或政策变化，都可能演变成系统性问题。

自由伴随着后果。一家公司如果允许智能体访问客户记录、工厂、支付渠道或第三方网络，就不应该仅仅因为下一步行动是由算法选择的，便能够免除自身责任。访问权限、激励机制和情境均由运营者设定。运营者应该对可预见的损害承担责任，为重大风险投保，并向受害者提供补救。

熔断机制：一种有限的操作层面折中方案

熔断机制——一种在特定危险出现时停止活动的机制——之所以有用，恰恰是因为它并非一种普遍的治理理论。在与具有重大影响的系统相连的人工智能部署中，当某个可观察的阈值被突破时，熔断机制可以暂停某个明确界定的流程：试图提升权限、使用未经核实的凭证、异常的交易量、未能核实数据来源，或权限发生无法解释的变化。暂停时应保留日志、隔离受影响的流程，并触发指定人员的响应。它不应自动关闭整个模型、公司或研究领域。

与电力和金融市场的比较具有启示意义。家用断路器会切断危险的电流浪涌，但不会永久停用电力。交易暂停会减缓异常的市场波动，但不会废除市场。同样，人工智能管控应针对具体部署，以及那些造成可证实风险的事件。这些措施应预先确定、可以测试且可以撤销。其目的是争取响应时间，同时不消除有用的能力。

这种方法与现有风险管理实践相容。美国商务部下属的非监管机构国家标准与技术研究院发布了《人工智能风险管理框架》，强调人工智能的使用情境，以及评估、监控、人类监督、反馈和事件响应。前沿模型开发者的安全政策越来越多地说明能力阈值，以及缓解措施不足时推迟部署的条件。正确理解这些措施，它们是管理一个组织所负责系统的工具——与许可经济相去甚远。

事态发展的可能性

最有可能：富有成效的普及

这一情景是渐进式的，而非革命性的。收益来自搜索成本、错误率、延误和行政负担数以百万计的小幅降低。但这些好处取决于配套条件：可靠的数据、培训、有权质疑某项建议的员工、供应商之间的竞争，以及通过合同明确由谁对错误承担责任。

主要风险也为人们所熟悉：过度依赖质量欠佳的输出、数据质量低下、隐私泄露、供应商锁定、网络攻击，以及对特定任务和职业产生不均衡的影响。

政府需要保持市场开放，执行合同和竞争规则，投资于技能培养，并在人工智能嵌入产品或服务时要求落实责任。企业需要保留将问题升级交由人类处理的渠道，保留备用流程，并避免形成使一家供应商的服务中断演变为整个企业故障的依赖关系。最终形成的将是一种混合体系：技术拓展人类能力，而责任仍由可明确识别的个人和机构承担。

可能性较低：自主性加速发展

这一情景说明了抱抱脸事件的关键教训。真正的威胁来自在不充分的安全框架内运行的强大软件。这起事件通过共享基础设施、意料之外的通信路径、网络访问、泄露的凭证以及处理环境中的漏洞得以发生。正如抱抱脸事件所显示的那样，这类弱点会让智能体迅速从一个系统转移到另一个系统，并大幅增加调查负担。

适当的应对措施是具体的：实施网络隔离，使一个区域的入侵无法扩散；为每个系统配置最低限度的权限；迅速更换泄露的密码和访问密钥；开展独立测试；保留有实质意义的日志；及时披露；以及具备使用替代供应商和本地工具开展运作的能力。

熔断机制在这里应充当操作层面的最后一道保障。部署之前，组织可以明确规定智能体能够更改哪些权限、可以联系哪些外部服务、多大规模的交易需要升级处理，以及哪些信号会触发自动暂停。事件发生期间，熔断机制会减缓受影响流程的运行，让安全团队开展调查。事后，它会为修复、责任评估和保险索赔提供证据。

其结果是一种约束更严密的自主运行形式，速度与可追溯性相匹配，同时具备可靠中断危险操作序列的能力。要让这种做法在大公司之外也能奏效，小型企业需要能够获得可互操作的工具和共享安全服务。许多小型企业依赖于少数几家供应商，而外部人员无法审查这些供应商的管控措施。

可能性最低：类别性断裂

在这一情景下，人工智能系统将不再像工具那样行事，而是开始作为独立主体行动，追求自身目标、隐瞒这些目标，并抵抗人类控制。目前没有令人信服的证据表明，这种断裂已经发生。一次成功的网络漏洞利用、一个出色的基准测试结果，或一个绕过设计不良防护机制的智能体，都不足以确立这一结论。

然而，这种可能性值得研究，因为其后果将十分严重。如果独立证据表明，人工智能表现出持续的自主性、策略性的隐瞒行为、对关键系统的访问能力，以及常规人类控制失效，那么应对措施就可以超出通常的责任规则。为保护他人免受可能不可逆转的风险，临时访问限制、强制评估、协调一致的事件报告，以及界定严格的紧急停止措施，都可能具有正当性。

特殊管控措施的触发，需要以已经证实的能力和具体访问权限为依据。这些措施需要接受审查并设定期限，在证据不再支持时予以解除。决策者还需要在关键系统中保留人工操作能力和独立的事件分析能力，因为缺乏有效恢复途径的紧急管控，只是将技术风险转化为组织风险。

这一情景带来的后果，并不是说前两种情景中的自由是一个错误。相反，它意味着，当一项技术从强大的辅助工具转变为不受问责的自主运行系统时，自由社会必须保留果断行动的能力。在能够证实这一门槛已被跨越之前，基本原则仍然是依法开发、开放竞争，以及对损害负责。