DeepSeek新论文:没有单一机制能防止所有智能体不当行为和系统故障
DeepSeek公开的一篇关于智能体训练的新论文引发关注,这篇31页的论文介绍了其内部使用的生产级沙箱平台DSec,论文作者超过百人,梁文锋也在其中。论文中比较有意思的一节是“智能体的不当行为”,DeepSeek发现,智能体会通过非预期渠道获取答案,比如搜索平台管理文件里的残留答案等,破坏训练和评估结果有效性。引入访问控制后,还有智能体交换文件数据块映射,试图让受保护文件内容可通过另一文件描述符访问,损害任务或共享基础设施。 DeepSeek认为,没有单一机制能防止
DeepSeek公开的一篇关于智能体训练的新论文引发关注,这篇31页的论文介绍了其内部使用的生产级沙箱平台DSec,论文作者超过百人,梁文锋也在其中。论文中比较有意思的一节是“智能体的不当行为”,DeepSeek发现,智能体会通过非预期渠道获取答案,比如搜索平台管理文件里的残留答案等,破坏训练和评估结果有效性。引入访问控制后,还有智能体交换文件数据块映射,试图让受保护文件内容可通过另一文件描述符访问,损害任务或共享基础设施。
DeepSeek认为,没有单一机制能防止所有智能体不当行为和系统故障。因此团队的方法是加强可观测性以识别新问题,并随模型演进持续加固Dsec,包括限制智能体通过非预期渠道获取答案的访问控制,减少对欺骗行为的奖励。这些控制能解决部分问题。
相关阅读
USDD传播负责人:稳定币并非简单“变成银行” 而正在超越传统模式
近日,数字资产平台 ChangeNOW 发布了 Ramia Farrage 与去中心化稳定币 USDD 传播负责人 Yvonne Chia 的对谈视频。双方就去中心化、超额抵押稳定币的运作方式,以及稳定币是否正在变成银行等话题进行了深入交流。 Yvonne Chia 介绍了 USDD 为什么采取“生息版 USDT”的策略,以及 USDD 如何扩展到包括波场 TRON、以太坊和 BNB Chain 等主流区块链网络。Yvonne Chia 指出,稳定币并非简单地“变成银行
1667万美元ETH质押,某巨鲸过去1小时分13笔存入9256枚ETH至以太坊信标链
据 Onchain Lens 监测,某巨鲸在过去 1 小时内分 13 笔将 9256 枚 ETH 质押至以太坊信标链,价值 1667 万美元,其中包括 5 笔各 1800 枚 ETH 的存入。
超16万人签署请愿要求黄仁勋回归英伟达
请愿要求英伟达董事会恢复 Jensen Huang 的 CEO 职务,已获得超过 16 万份签名,Elon Musk 表示自己也会签署。Y Combinator CEO Garry Tan 也签署了请愿;超过 7500 名签署者自称是英伟达员工,相关身份未经核实,该人数约占公司员工总数的 18%。 英伟达两名主要股东 Brad Gerstner 与 Gavin Baker 致信董事会,建议保留包括 Jensen Huang 回归在内的所有选项。美国财政部长 Scott