项目动态

DeepSeek新论文:没有单一机制能防止所有智能体不当行为和系统故障

DeepSeek公开的一篇关于智能体训练的新论文引发关注,这篇31页的论文介绍了其内部使用的生产级沙箱平台DSec,论文作者超过百人,梁文锋也在其中。论文中比较有意思的一节是“智能体的不当行为”,DeepSeek发现,智能体会通过非预期渠道获取答案,比如搜索平台管理文件里的残留答案等,破坏训练和评估结果有效性。引入访问控制后,还有智能体交换文件数据块映射,试图让受保护文件内容可通过另一文件描述符访问,损害任务或共享基础设施。 DeepSeek认为,没有单一机制能防止

DeepSeek公开的一篇关于智能体训练的新论文引发关注,这篇31页的论文介绍了其内部使用的生产级沙箱平台DSec,论文作者超过百人,梁文锋也在其中。论文中比较有意思的一节是“智能体的不当行为”,DeepSeek发现,智能体会通过非预期渠道获取答案,比如搜索平台管理文件里的残留答案等,破坏训练和评估结果有效性。引入访问控制后,还有智能体交换文件数据块映射,试图让受保护文件内容可通过另一文件描述符访问,损害任务或共享基础设施。

DeepSeek认为,没有单一机制能防止所有智能体不当行为和系统故障。因此团队的方法是加强可观测性以识别新问题,并随模型演进持续加固Dsec,包括限制智能体通过非预期渠道获取答案的访问控制,减少对欺骗行为的奖励。这些控制能解决部分问题。

← 上一篇Silvia减持124枚BTC并累计回购约14.5%流通股下一篇 →Bonk Guy:USELESS持币地址数创新高,市值较低点已升逾10倍

相关阅读

USDT与稳定币

USDD传播负责人:稳定币并非简单“变成银行” 而正在超越传统模式

近日,数字资产平台 ChangeNOW 发布了 Ramia Farrage 与去中心化稳定币 USDD 传播负责人 Yvonne Chia 的对谈视频。双方就去中心化、超额抵押稳定币的运作方式,以及稳定币是否正在变成银行等话题进行了深入交流。 Yvonne Chia 介绍了 USDD 为什么采取“生息版 USDT”的策略,以及 USDD 如何扩展到包括波场 TRON、以太坊和 BNB Chain 等主流区块链网络。Yvonne Chia 指出,稳定币并非简单地“变成银行

USDT
项目动态

超16万人签署请愿要求黄仁勋回归英伟达

请愿要求英伟达董事会恢复 Jensen Huang 的 CEO 职务,已获得超过 16 万份签名,Elon Musk 表示自己也会签署。Y Combinator CEO Garry Tan 也签署了请愿;超过 7500 名签署者自称是英伟达员工,相关身份未经核实,该人数约占公司员工总数的 18%。 英伟达两名主要股东 Brad Gerstner 与 Gavin Baker 致信董事会,建议保留包括 Jensen Huang 回归在内的所有选项。美国财政部长 Scott