英伟达提出AI内存全栈协同设计方案,Vera Rubin平台每GPU内存容量仅增约3%
英伟达发文称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。 具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。
英伟达发文称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。
具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。
英伟达披露,在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;Vera Rubin NVL72相较GB300 NVL72,单位成本推理吞吐量最高提升30倍,而单GPU HBM容量仅增加约3%。
相关阅读
苹果一年多来首次发债,拟筹资约70亿美元
苹果公司计划通过一年多来首次发行投资级债券筹资约70亿美元,用于支持股票回购等用途,为近期美国科技巨头密集发债再添一笔。据知情人士透露,此次发债规模尚未最终确定,仍可能根据投资者需求调整。 知情人士称,发债所得资金将用于一般企业用途,包括股票回购、派息和资本支出。知情人士还表示,这家iPhone制造商此次将发行七档债券,期限从两年至10年不等。此次发债正值大型科技公司掀起一波融资潮。 自上周以来,微软、甲骨文和Meta Platforms已在美国市场合计融资500亿
Uniswap称Permissioned Pools Hook将许可资产引入AMM并在协议层执行合规检查
Uniswap 在 X 平台发文表示,Permissioned Pools Hook 是一项将许可资产引入自动做市商(AMM)的新标准,并在协议层执行合规检查。
首个许可型资产上线Uniswap AMM,GromaCorp通过Permissioned Pools Hook引入房地产发行与赎回
Uniswap 在 X 平台发文表示,首个许可型资产已在 Uniswap AMM 上线。GromaCorp 通过 Permissioned Pools Hook 将房地产发行与赎回直接引入该协议。