量子位 · AI资讯· 一水·· 2 小时前精选
港科、CMU 与岩山科技开源新模型：KV Cache 削减 99%，单卡支持 512 路长推理
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
AI 导读
据量子位 AI 资讯报道，香港科技大学、CMU 与岩山科技联合开源一款新模型，称通过大幅压缩 KV Cache（削减 99%），可在单张卡上同时运行 512 路长推理，单卡吞吐提升 6 倍。来源未披露模型名称、参数规模、开源许可证及具体测试条件。
为什么值得看
对企业负责人而言，该信息指向长上下文推理的部署密度与单卡并发能力变化，若能在自有业务负载下复现，可能降低长文本、多会话场景的推理资源占用。但来源未提供模型细节、对比基线与精度影响，厂商披露的吞吐数据需在真实业务场景中验证后再评估部署价值。
来源：量子位 · AI资讯 · qbitai.com