蚂蚁集团与vLLM联合开源Humming：高性能、灵活的量化推理内核
蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库，Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库，Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
相关阅读
美股开盘AI概念股普涨，超微电脑涨超11.5%
根据 MSX.COM 数据，美股开盘，道指涨 0.15%，标普 500 指数涨 0.26%，纳指涨 0.61%，VIX 恐慌指数跌 1.96%。AI 概念股普涨，超微电脑 上涨 11.5%，Dell 上涨 8.2%，Arista Networks 上涨 3.89%，Marvell 上涨 3.68%，Astera Labs 上涨 3.63%。 据悉，MSX 是一家头部 RWA 交易平台，累计已上线数百种 RWA 代币，涵盖 英伟达、GOOGL、MSFT、AMZN、META
美元兑日元下跌0.1%，报157.977
据 Gate 最新数据，黄金价格上涨至 4136.48 美元/盎司，日内涨幅达 0.26%。白银价格涨至 57.621 美元/盎司，日内涨幅达 0.36%。 外汇方面，美元兑离岸人民币（USD/CNH）日内下跌 0%，当前汇率为 6.67416。美元兑日元（USD/JPY）日内下跌 0.12%，当前汇率为 157.977。 全球股指方面，欧洲 50 指数（EUSTX50）日内上涨 1.03%，报 6207.06 点；英国富时 100 指数（UK100）日内上涨 0.2