The Decoder· Jonathan Kemper·· 8 小时前精选
真实场景测试：AI 编程智能体近四分之三任务仍需人工收尾
AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
AI 导读
据 The Decoder 报道，阿里推出 Co-Design Bench 编程智能体基准，用实际中曾让智能体出错过的真实用户请求进行测试。结果显示，表现最好的模型仅完整解决 26.4% 的任务，而同一批模型在旧基准上的得分超过 99%。
为什么值得看
对企业负责人而言，这一结果提示 AI 编程工具在真实业务任务中的可靠性仍有限，近四分之三任务需要人工清理，适合用于辅助提效而非直接替代人工；在引入编程智能体时应预留人工复核环节，并以自身任务场景做验证，不宜仅依据旧基准的高分做采购或推广决策。
来源：The Decoder · the-decoder.com