港科、CMU 与岩山科技开源新模型：KV Cache 削减 99%，单卡支持 512 路长推理
据量子位 AI 资讯报道，香港科技大学、CMU 与岩山科技联合开源一款新模型，称通过大幅压缩 KV Cache（削减 99%），可在单张卡上同时运行 512 路长推理，单卡吞吐提升 6 倍。来源未披露模型名称、参数规模、开源许可证及具体测试条件。
为什么值得看：对企业负责人而言，该信息指向长上下文推理的部署密度与单卡并发能力变化，若能在自有业务负载下复现，可能降低长文本、多会话场景的推理资源占用。但来源未提供模型细节、对比基线与精度影响，厂商披露的吞吐数据需在真实业务场景中验证后再评估部署价值。