微软CEO：超级智能时代不能依赖AI“黑箱”，需建立外部控制与审计体系

微软CEO Satya Nadella发文表示，随着超级智能（Super Intelligence）系统能力快速提升，行业需要重新构建AI信任架构，不能将AI执行行为带来的责任交由模型提供方承担。

过去几十年传统软件系统被广泛部署时，人们能够追踪程序行为对应的具体代码路径。但如今的前沿AI模型虽然能力已超过传统软件系统，却无法明确将模型输出归因于特定训练数据或模型权重配置。当前企业正在让复杂的AI智能体接触敏感数据，并赋予其执行关键任务的能力，因此不能将超级智能系统视为无法理解的“嵌套黑箱”，仅简单接受或拒绝其建议，而需要构建能够观察行为、测试边界并随时限制行动的可控系统。

在治理原则方面，纳德拉提出超级智能系统需要具备：

- 模型多样性：避免单一模型成为关键决策的唯一依赖；

- 全面可观察性：所有重要AI行为都应留下不可篡改且人类可读的记录；

- 持续验证能力：持续测试系统面对故障、攻击和异常情况的表现；

- 独立控制与审计：模型不应同时掌控系统行为和验证自身行为的证据；

- 风险隔离机制：默认假设模型可能失效，并提供随时暂停或关闭的能力；

- 事件披露机制：发生故障或安全事件时及时披露原因和改进措施。

纳德拉还强调，思维链（CoT）透明度是AI治理的重要基础，但仅依靠CoT透明并不足够，因为目前仍无法保证模型输出始终具备可靠的可解释性。未来最值得信任的超级智能系统，并不是“最值得信任的模型”，而是即使无法完全信任模型，也依然能够安全运行的系统。