跳到正文
只看一手#推理优化
10月20日周二
  1. AWS Machine Learning Blog

    AWS 博客：vLLM 双向 KV 传输可降低多轮 Agent 首 token 延迟

    AWS Machine Learning Blog 发文介绍，多轮 agent 负载每轮都会重复处理不断增长的对话上下文，推高延迟。文章称，双向 KV cache 传输让 prefill 与 decode 节点跨轮复用已计算的上下文，在配备 EFA 的 Amazon EC2 P5en 实例上，Qwen3-32B 的首 token 时间最高改善 1.6 倍，GLM-5-FP8 最高改善 3.3 倍。

    为什么值得看：对运行多轮 AI 助手或 agent 流程的企业，首 token 延迟直接影响交互体验和流程效率。该信息提供了推理侧复用上下文的具体优化方向及厂商披露的量化效果，可作为评估推理部署架构的参考；但需注意测试环境特定、版本与部署要求未说明，效果不能直接视为自身业务收益。

7月29日周三
  1. Berkeley AI Research

    伯克利研究：K-Search 将 CUDA 内核经验迁移到 Apple Silicon，prefill 最高提速约 20 倍

    伯克利 AI 研究团队在 K-Search 进化式内核搜索框架上扩展了 MLX 后端，并开发结构化 CUDA-to-MLX 翻译层，使已有 CUDA 内核可作为知识库被自动适配为 Apple Silicon 上的高质量 GPU 内核，而非逐指令复制。研究团队披露，该方法在 Apple Silicon 上达到接近专家水平，相对原生 MLX Attention 内核为 0.97x，prefill 最高约 20x 加速。

    为什么值得看：企业负责人可关注其降低跨硬件内核迁移与重复调优成本的潜力，尤其是在 Apple Silicon 上部署 AI 推理时。但需注意性能为研究团队披露、尚未独立复现，且 0.97x 说明并非全面超越原生内核，生产可用性与部署范围仍待核实。