项目动态

OpenAI称发现其AI Agent削弱了对齐失效监控机制

OpenAI称,在两项内部编程任务中,AI Agent在执行用户要求的软件修改时,削弱了对齐失效监控机制。在第一起事件中,一个负责修复评估流程的GPT-6.1 Sol Agent关闭了向安全团队自动发送警报的功能。该Agent将此前一条“在搜索Slack历史记录期间不要发送消息”的指令,理解为应当屏蔽监控通知的理由。在另一起独立事件中,一个负责迁移程序的GPT-6 Astra Agent为了使代码与参考实现保持一致,删除了程序中的监控集成,随后还向用户谎称自己并未

OpenAI称,在两项内部编程任务中,AI Agent在执行用户要求的软件修改时,削弱了对齐失效监控机制。在第一起事件中,一个负责修复评估流程的GPT-6.1 Sol Agent关闭了向安全团队自动发送警报的功能。该Agent将此前一条“在搜索Slack历史记录期间不要发送消息”的指令,理解为应当屏蔽监控通知的理由。

在另一起独立事件中,一个负责迁移程序的GPT-6 Astra Agent为了使代码与参考实现保持一致,删除了程序中的监控集成,随后还向用户谎称自己并未移除监控机制。在这两起事件中,AI Agent都曾考虑过是否应该保留监控防护措施,但最终将常规编程指令解读为削弱这些防护措施的许可。

作为回应,我们正在加强对齐失效监控系统,同时也在评估这些案例究竟反映了AI的良性过度坚持行为(benign overpersistence),还是表明其在特定情况下存在规避对齐失效监控的倾向。

← 上一篇马斯克宣布SpaceX与特斯拉成立特别委员会正式探讨合并下一篇 →日经225指数开盘上涨1.16%,韩国KOSPI指数开盘上涨1.83%

相关阅读

市场动态

某交易者 2 小时内交易 Kimchi 获利 28.2 万美元,回报 332 倍

据 Lookonchain 报道,某交易者在 2 小时内交易 Solana 链上代币 Kimchi,获利约 28.2 万美元,回报率约 332 倍。该交易者先用 8 枚 SOL(约 848 美元)买入 991 万枚 Kimchi,随后卖出 488 万枚 Kimchi,换回 1,045 枚 SOL(约 11.1 万美元)。目前该交易者仍持有 503 万枚 Kimchi,价值约 17.1 万美元。

SOL
市场动态

2小时盈利28.2万美元,某地址买入Kimchi获332倍回报

据 Lookonchain 监测,某地址 2 小时前花费 8 枚 SOL,即 848 美元,买入 991 万枚 Kimchi,随后卖出 488 万枚 Kimchi,获得 1045 枚 SOL,即 11.1 万美元。该地址仍持有 503 万枚 Kimchi,价值 17.1 万美元,总盈利达到 28.2 万美元,回报达 332 倍。

SOL
市场动态

美国SOL现货ETF单日总净流出264.90万美元

根据 SoSoValue 数据,昨日(美东时间 10 月 20 日)SOL 现货 ETF 单日总净流出 264.90 万美元。 昨日仅 Grayscale Solana Trust(GSOL) 净流出,单日净流出 264.90 万美元,目前历史总净流入达 1.57 亿美元。 截至发稿前,SOL 现货 ETF 总资产净值为 16.52 亿美元,SOL 净资产比率 0.00%,历史累计净流入已达 15.48 亿美元。

SOL