AWS Machine Learning Blog 发文介绍，多轮 agent 负载每轮都会重复处理不断增长的对话上下文，推高延迟。文章称，双向 KV cache 传输让 prefill 与 decode 节点跨轮复用已计算的上下文，在配备 EFA 的 Amazon EC2 P5en 实例上，Qwen3-32B 的首 token 时间最高改善 1.6 倍，GLM-5-FP8 最高改善 3.3 倍。
为什么值得看：对运行多轮 AI 助手或 agent 流程的企业，首 token 延迟直接影响交互体验和流程效率。该信息提供了推理侧复用上下文的具体优化方向及厂商披露的量化效果，可作为评估推理部署架构的参考；但需注意测试环境特定、版本与部署要求未说明，效果不能直接视为自身业务收益。
苹果与卡内基梅隆大学研究团队提出SSR（Selection-based Structured Reasoning）框架，重新设计智能体工作流中的推理环节。ReAct范式下模型每执行动作前需生成自由形式推理，带来推理开销；SSR改为让模型从一组预定义推理选项中选择，而非逐token生成推理。来源称该方式可使Agent推理快约10倍。
为什么值得看：企业若部署Agent类应用，推理环节的延迟与算力成本是实际支出项。该框架提供了一种降低单步推理开销的思路，值得在评估Agent架构与成本优化时关注。但需注意其效果基于论文实验，预定义选项的构建与场景泛化能力尚不明确，落地前应结合自有任务验证。
伯克利 AI 研究团队在 K-Search 进化式内核搜索框架上扩展了 MLX 后端，并开发结构化 CUDA-to-MLX 翻译层，使已有 CUDA 内核可作为知识库被自动适配为 Apple Silicon 上的高质量 GPU 内核，而非逐指令复制。研究团队披露，该方法在 Apple Silicon 上达到接近专家水平，相对原生 MLX Attention 内核为 0.97x，prefill 最高约 20x 加速。
为什么值得看：企业负责人可关注其降低跨硬件内核迁移与重复调优成本的潜力，尤其是在 Apple Silicon 上部署 AI 推理时。但需注意性能为研究团队披露、尚未独立复现，且 0.97x 说明并非全面超越原生内核，生产可用性与部署范围仍待核实。