TypeSafe AI与 OpenRouter 推出 Jev 智能路由器提升 LLM 调用效率
TypeSafe AI在X上最新发帖称,OpenRouter 已集成 Jev 路由能力至全部 LLM 调用,通过 typesafe/jev-router 在每次请求时动态选择最优模型与推理强度,实现“cache-aware”的模型路由,以平衡质量、速度与成本。该路由器可根据上下文命中缓存,避免重复计算,减少无效 token 消耗,优化复杂 agent 工作流性能。部分开发者称,其在大规模真实样本评分任务中实现了近乎100%准确率,但也反映随着使用激增,响应时延有所上
TypeSafe AI在X上最新发帖称,OpenRouter 已集成 Jev 路由能力至全部 LLM 调用,通过 typesafe/jev-router 在每次请求时动态选择最优模型与推理强度,实现“cache-aware”的模型路由,以平衡质量、速度与成本。该路由器可根据上下文命中缓存,避免重复计算,减少无效 token 消耗,优化复杂 agent 工作流性能。部分开发者称,其在大规模真实样本评分任务中实现了近乎100%准确率,但也反映随着使用激增,响应时延有所上升。
相关阅读
SemiAnalysis大幅下修AI算力预测:2028年资本开支预测下调近三成
半导体研究机构SemiAnalysis在最新模型更新中,大幅下调了未来数年AI加速器出货、资本开支、HBM需求和电力需求预测。其中,2028年至2030年的调整幅度尤为明显:2028年全球AI加速器资本开支预测被下调28%,2029年和2030年分别下调41%和40%。按照最新模型,2030年全球AI加速器资本开支将从此前预测的1.531万亿美元降至9230亿美元,减少6080亿美元。与此同时,2026年至2030年加速器逻辑硅片出货面积累计预测下调17%。
SemiAnalysis大幅下修AI算力预测:投资出现降温信号,2028年资本开支预测下调近三成
AI 基础设施投资热潮出现新的降温信号,半导体研究机构 SemiAnalysis 在最新模型更新中,大幅下调了未来数年 AI 加速器出货、资本开支、HBM 需求和电力需求预测。其中,2028 年至 2030 年的调整幅度尤为明显:2028 年全球 AI 加速器资本开支预测被下调 28%,2029 年和 2030 年分别下调 41%和 40%。按照最新模型,2030 年全球 AI 加速器资本开支将从此前预测的 1.531 万亿美元降至 9230 亿美元,减少 6080 亿美