英伟达提出AI内存全栈协同设计方案，推理吞吐量提升最高30倍
英伟达宣布，随着 AI 模型规模扩大、上下文窗口延长以及智能体应用普及，GPU 内存压力持续上升，HBM 供应趋紧、价格上涨。英伟达提出通过 GPU、CPU、网络、存储及软件协同设计，提高内存使用效率，而非单纯增加 GPU 内存容量。 具体来看，英伟达通过 NVFP4 低精度格式压缩模型权重和 KV Cache，将暂时不活跃的上下文转移至成本更低的存储层，并利用多 GPU 分布式部署释放 HBM 空间。 英伟达披露，在 SemiAnalysis AgentX 测试中，
英伟达宣布，随着 AI 模型规模扩大、上下文窗口延长以及智能体应用普及，GPU 内存压力持续上升，HBM 供应趋紧、价格上涨。英伟达提出通过 GPU、CPU、网络、存储及软件协同设计，提高内存使用效率，而非单纯增加 GPU 内存容量。
具体来看，英伟达通过 NVFP4 低精度格式压缩模型权重和 KV Cache，将暂时不活跃的上下文转移至成本更低的存储层，并利用多 GPU 分布式部署释放 HBM 空间。
英伟达披露，在 SemiAnalysis AgentX 测试中，GB300 NVL72 在特定工作负载下的单位成本推理吞吐量最高达到 H200 平台的 10 倍；Vera Rubin NVL72 相较 GB300 NVL72，单位成本推理吞吐量最高提升 30 倍，而单 GPU HBM 容量仅增加约 3%。
相关阅读
Anchorage Digital申请注册掉期交易商，拟推出BTC和ETH期权
据The Block报道，机构加密平台Anchorage Digital宣布已通过旗下实体Anchorage Digital Swap Dealer, LLC向美国全国期货协会（NFA）提交掉期交易商注册申请，目前正等待审核。若获批，该实体计划提供比特币和以太坊期权服务，期限最长可达一年，后续还将视内部审批及监管要求拓展更多产品。
Anchorage Digital拟推出BTC和ETH期权，已申请注册CFTC掉期交易商
机构加密平台 Anchorage Digital 已通过旗下实体 Anchorage Digital Swap Dealer, LLC 向美国全国期货协会（NFA）提交掉期交易商注册申请，目前正等待审核。若获批，该实体计划提供比特币和以太坊欧式期权，期限最长可达一年，后续还将视内部审批及监管要求拓展更多产品。 Anchorage Digital 联合创始人兼 CEO Nathan McCauley 表示，此举旨在满足机构对受监管数字资产衍生品交易渠道日益增长的需求。完成
英伟达提出AI内存全栈协同设计方案，Vera Rubin平台每GPU内存容量仅增约3%
英伟达发文称，随着AI模型规模扩大、上下文窗口延长以及智能体应用普及，GPU内存压力持续上升，HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计，提高内存使用效率，而非单纯增加GPU内存容量。 具体来看，英伟达通过NVFP4低精度格式压缩模型权重和KV Cache，将暂时不活跃的上下文转移至成本更低的存储层，并利用多GPU分布式部署释放HBM空间。