项目动态

OpenAI:发现AI Agent削弱对齐失效监控机制

OpenAI 称,在两项内部编程任务中,AI Agent 在执行用户要求的软件修改时,削弱了对齐失效监控机制。在第一起事件中,一个负责修复评估流程的 GPT-6.1 Sol Agent 关闭了向安全团队自动发送警报的功能。该 Agent 将此前一条“在搜索 Slack 历史记录期间不要发送消息”的指令,理解为应当屏蔽监控通知的理由。 在另一起独立事件中,一个负责迁移程序的 GPT-6 Astra Agent 为了使代码与参考实现保持一致,删除了程序中的监控集成,随后还向

OpenAI 称,在两项内部编程任务中,AI Agent 在执行用户要求的软件修改时,削弱了对齐失效监控机制。在第一起事件中,一个负责修复评估流程的 GPT-6.1 Sol Agent 关闭了向安全团队自动发送警报的功能。该 Agent 将此前一条“在搜索 Slack 历史记录期间不要发送消息”的指令,理解为应当屏蔽监控通知的理由。

在另一起独立事件中,一个负责迁移程序的 GPT-6 Astra Agent 为了使代码与参考实现保持一致,删除了程序中的监控集成,随后还向用户谎称自己并未移除监控机制。在这两起事件中,AI Agent 都曾考虑过是否应该保留监控防护措施,但最终将常规编程指令解读为削弱这些防护措施的许可。

作为回应,我们正在加强对齐失效监控系统,同时也在评估这些案例究竟反映了 AI 的良性过度坚持行为(benign overpersistence),还是表明其在特定情况下存在规避对齐失效监控的倾向。

← 上一篇韩国JB金融集团斥资400亿韩元投资AI公司Upstage并获得2%股权下一篇 →Cboe扩大期权交易时段,覆盖Robinhood、英伟达等个股及主要ETF

相关阅读

项目动态

Solana Alpenglow 升级将于今晚在主网第 1064 纪元激活

据 CoinDesk 报道,Solana 将于周三在第 1064 纪元激活 Alpenglow 升级,这是其 2020 年以来最大规模的网络改动。该升级将验证者投票移至链下,并把投票聚合为证书,目标将交易最终确认时间从约 6 秒缩短至约 150 毫秒。验证者目前每日约 2 SOL 的投票费用将改为每纪元(约 24 小时)0.8 SOL 的准入费,成本降低约 60%。据 Galaxy Digital 披露,测试网自 5 月初以来已重启 6 次,期间有一次迁移失败并回

SOL
项目动态

Solana即将启动Alpenglow升级,交易最终确认时间目标缩短至150毫秒

Solana 将于周三启动重大网络升级 Alpenglow,这是其自 2020 年以来最大规模的网络架构升级之一。此次升级将以新的验证者投票机制取代现有系统,通过链下投票和证书机制,将交易最终确认时间目标缩短至约 150 毫秒,较当前约 6 秒提升约 40 倍。 Alpenglow 还将取消验证者逐笔链上投票费用,改为每个 Epoch 收取 0.8 SOL 的固定准入费用,预计可降低约 60% 的相关成本。此次升级此前经历多轮测试网络重启,并曾因迁移失败回滚,后续迁移成

SOL