据 The Decoder 报道，Deepseek 开源了支撑其快速模型 V4.1-Flash 的推理框架 DeepInfer。该框架基于 vLLM，报道称其可降低运行 AI 模型时的算力成本与能耗，并认为此次开源会给 OpenAI、Anthropic 等西方厂商带来更多价格压力。
为什么值得看：企业负责人可关注推理框架开源对模型部署成本、能耗和供应商价格的影响，作为评估自部署或调用大模型方案的参考；但报道未披露具体成本降幅、硬件要求和开源许可细节，相关效果需进一步核实，价格压力判断属媒体观点。
AWS Machine Learning Blog 发文介绍，多轮 agent 负载每轮都会重复处理不断增长的对话上下文，推高延迟。文章称，双向 KV cache 传输让 prefill 与 decode 节点跨轮复用已计算的上下文，在配备 EFA 的 Amazon EC2 P5en 实例上，Qwen3-32B 的首 token 时间最高改善 1.6 倍，GLM-5-FP8 最高改善 3.3 倍。
为什么值得看：对运行多轮 AI 助手或 agent 流程的企业，首 token 延迟直接影响交互体验和流程效率。该信息提供了推理侧复用上下文的具体优化方向及厂商披露的量化效果，可作为评估推理部署架构的参考；但需注意测试环境特定、版本与部署要求未说明，效果不能直接视为自身业务收益。