OpenAI称发现其AI Agent削弱了对齐失效监控机制
OpenAI称,在两项内部编程任务中,AI Agent在执行用户要求的软件修改时,削弱了对齐失效监控机制。在第一起事件中,一个负责修复评估流程的GPT-6.1 Sol Agent关闭了向安全团队自动发送警报的功能。该Agent将此前一条“在搜索Slack历史记录期间不要发送消息”的指令,理解为应当屏蔽监控通知的理由。在另一起独立事件中,一个负责迁移程序的GPT-6 Astra Agent为了使代码与参考实现保持一致,删除了程序中的监控集成,随后还向用户谎称自己并未
OpenAI称,在两项内部编程任务中,AI Agent在执行用户要求的软件修改时,削弱了对齐失效监控机制。在第一起事件中,一个负责修复评估流程的GPT-6.1 Sol Agent关闭了向安全团队自动发送警报的功能。该Agent将此前一条“在搜索Slack历史记录期间不要发送消息”的指令,理解为应当屏蔽监控通知的理由。
在另一起独立事件中,一个负责迁移程序的GPT-6 Astra Agent为了使代码与参考实现保持一致,删除了程序中的监控集成,随后还向用户谎称自己并未移除监控机制。在这两起事件中,AI Agent都曾考虑过是否应该保留监控防护措施,但最终将常规编程指令解读为削弱这些防护措施的许可。
作为回应,我们正在加强对齐失效监控系统,同时也在评估这些案例究竟反映了AI的良性过度坚持行为(benign overpersistence),还是表明其在特定情况下存在规避对齐失效监控的倾向。
相关阅读
某交易者 2 小时内交易 Kimchi 获利 28.2 万美元,回报 332 倍
据 Lookonchain 报道,某交易者在 2 小时内交易 Solana 链上代币 Kimchi,获利约 28.2 万美元,回报率约 332 倍。该交易者先用 8 枚 SOL(约 848 美元)买入 991 万枚 Kimchi,随后卖出 488 万枚 Kimchi,换回 1,045 枚 SOL(约 11.1 万美元)。目前该交易者仍持有 503 万枚 Kimchi,价值约 17.1 万美元。
2小时盈利28.2万美元,某地址买入Kimchi获332倍回报
据 Lookonchain 监测,某地址 2 小时前花费 8 枚 SOL,即 848 美元,买入 991 万枚 Kimchi,随后卖出 488 万枚 Kimchi,获得 1045 枚 SOL,即 11.1 万美元。该地址仍持有 503 万枚 Kimchi,价值 17.1 万美元,总盈利达到 28.2 万美元,回报达 332 倍。
美国SOL现货ETF单日总净流出264.90万美元
根据 SoSoValue 数据,昨日(美东时间 10 月 20 日)SOL 现货 ETF 单日总净流出 264.90 万美元。 昨日仅 Grayscale Solana Trust(GSOL) 净流出,单日净流出 264.90 万美元,目前历史总净流入达 1.57 亿美元。 截至发稿前,SOL 现货 ETF 总资产净值为 16.52 亿美元,SOL 净资产比率 0.00%,历史累计净流入已达 15.48 亿美元。