项目动态

CertiK与哥伦比亚大学研究团队发布TensorLean成果,完成对DeepSeek和FlashAttention生产级AI算子的全球首次形式化验证

研究团队评估了149个已编译的GPU内核实例,并通过形式化证明确认其中83个符合对应的Lean规范。研究覆盖不同代际的GPU架构,以及DeepSeek的DeepGEMM和广泛使用的FlashAttention算子库;团队在6个库中发现38项正确性问题。

CertiK与哥伦比亚大学研究团队发布TensorLean成果,完成对DeepSeek和FlashAttention生产级AI算子的全球首次形式化验证

11月20日,CertiK宣布与哥伦比亚大学研究人员共同取得TensorLean技术成果,完成了全球首次对生产级AI算子的形式化验证。这项进展将数学证明应用于经过复杂性能优化的实际AI计算代码,为大模型厂商在提升训练速度、降低推理成本的同时,提供更严格的正确性保障。 大模型训练和答案生成依赖AI算子库中的底层计算程序。

这些运行在GPU上的程序称为GPU内核。即使系统运行正常,单个错误也可能导致计算结果悄然出错,影响后续输出,甚至使训练偏离预定方向。以一个计算成本为1亿美元的训练任务为例,如果因错误而有1%的计算需要重做,就会额外产生100万美元成本。

形式化验证的核心价值,是通过数学证明排除错误和漏洞。传统测试通过特定案例寻找问题;形式化验证则可以证明,在指定输入和运行条件下,程序始终满足要求,并确保在验证范围内不存在错误或漏洞。 将这种方法应用于生产级AI代码并不容易,因为验证必须涵盖实际的性能优化。GPU程序在数据移动过程中执行计算,会根据任务规模调整执行安排,也会使用低精度运算。

TensorLean能够同时处理这些复杂情况,直接验证程序编译后生成的PTX代码,并证明计算在指定条件和误差界限下符合要求。所有证明均在Lean中完成,并可由机器检查。

TensorLean研究团队成员魏强和杨甘祥表示,复杂优化正是生产级AI代码能够高速运行的原因。团队面临的挑战是在不忽略真实运行条件的前提下完成证明,让严格验证能够覆盖实际使用的高性能代码。 研究团队评估了149个已编译的GPU内核实例,并通过形式化证明确认其中83个符合对应的Lean规范。

研究覆盖不同代际的GPU架构,涉及DeepSeek的DeepGEMM以及广泛使用的FlashAttention算子库。团队在6个库中共发现38项正确性问题,其中DeepGEMM有2项,FlashAttention有23项。

CertiK联合创始人、哥伦比亚大学计算机科学系教授顾荣辉表示,发现漏洞后,还需要证明修复后的程序在指定条件下符合要求。对于大模型厂商而言,每一次提速都应建立在可靠的正确性基础之上。团队希望严格验证能够跟上代码迭代,尽可能将计算错误风险排除在大规模训练和部署之外。 这项工作的实际价值体现在大模型厂商每一轮性能优化中。

代码更新后,研发团队除了测量速度提升,也可以重新运行验证,检查优化是否引入计算错误,并为符合要求的程序取得可由机器检查的证明。这有助于减少计算资源浪费、训练返工,以及错误结果传入后续计算的风险。

类似计算可以复用既有验证要求,使这一方法能够应用于更多内核,并在代码更新时重新运行,为持续提升AI计算效率提供更可靠的基础。今年10月,Anthropic也宣布了利用Claude为开源软件构建数学证明的研究。TensorLean则聚焦于AI自身的底层计算,展现了自动化形式化验证在生产级AI代码中的价值。

← 上一篇DWF Labs:比特币不是数字黄金,它跟着纳指走下一篇 →比特币接近重现曾引发 2023 年回测 25,000 美元的图表形态

相关阅读

轻松赚钱的窗口已经关闭:加密市场的四台流动性收割机
市场动态

轻松赚钱的窗口已经关闭:加密市场的四台流动性收割机

作者认为加密市场“轻松赚钱”时代已结束,并将原因归于四种套路:利用内幕信息建仓、控制代币供应配合期货交易收割多空、以虚高估值发币充当退出流动性、批量发行meme币砸盘。资金被少数人抽走,市场转向机构与真实用例。