跳到正文
雷峰网 · 人工智能·· 4 小时前精选

谷歌研究:工程 Agent 单项约束满足率 91%,但仅 41.3% 设计项通过全部硬性要求

91% ≈ 0%?谷歌最新研究,戳破工程 Agent 的高正确率泡沫

AI 导读

Google 与 Mercor 发布 Physical-Engineering's Last Exam(PLE),以 85 项机械、电气、土木与结构工程任务评测工程 Agent。在 56 项隐藏测试中,Claude Opus 5.5 搭配 Claude Code 得分 48.3%;在共同创作任务中平均满足 91% 的单项约束,但只有 41.3% 的交付设计项满足全部硬性安全与可行性要求。研究采用硬约束门控评分,违反任一硬约束即无法获得成本优化分数,并指出剩余差距集中在约束耦合与多轮修改后的状态一致性。

为什么值得看

企业负责人可借此理解工程类 AI 工具的真实能力边界:局部计算正确率高不等于可交付设计,选型与流程自动化需保留硬约束校验和版本一致性管理。该研究也提示评估工程 Agent 时应关注全约束通过率而非单项得分。

来源:雷峰网 · 人工智能 · leiphone.com