这不是一个把模型调得更准的评测,它回答一个更基础的问题:一个 agent 跑到工程任务上,钱花在哪、分丢在哪。

结论先放在这里:把每任务的时间预算压到原来的三分之一,分数没掉;把项目文档压成模型真正读得懂的形态,部分分涨了两成;而所有“让它自查一遍”的改动,一个都没用。

85个任务
7个反例
1/3成本
¥0.49每任务

这个比赛在考什么

Physical-Engineering's Last Exam(PLE)由 Google 云 AI 研究和 Mercor 合作发布,85 个专家审校的长程工程任务,覆盖结构、土木、电气、机械四个方向。公开开发集 29 个,隐藏测试集 56 个。

每个任务是一个隔离容器里的真实项目文件夹,最多五十个文件:多页 PDF 施工图、IFC4 和 DXF 模型、负荷与接线表、地质钻孔记录、规范条文摘录,还有本地的 MCP 服务(邮件、日历、文档、CAD)。单个任务限时六小时。

要交的东西也不是预测文件,而是一个仓库:submission.yaml 声明模型和启动命令,serve.py 是一个 WebSocket 服务,再加 29 个公开任务的 artifacts/。第一阶段交两千字以内的说明文,按 100 分制评审——洞察与失败分析 25 分、工程推理 25 分、跨模型泛化 15 分、效率与扩展 20 分、清晰度与图表 15 分。前一百名进入第二阶段,在 56 个隐藏任务上实测。

奖金四十万美元,前三名分走。我写这篇时是 48 支队伍。

评测的形状

理解这个比赛,关键是理解它怎么跑。你的 harness 跑在自己的容器里,任务跑在第二个容器里,两个容器都不通外网(只有模型端点可达)。协议是一串 JSON 帧:exec 跑命令、read_file 读文件、write_file 写文件、http 打本地 MCP,最后用 done 收尾。

也就是说,模型能做的每一件事,都是 harness 代替它向评测器发的一个请求。没有后门,没有“直接改容器”,也没有“偷偷联网”。

评分有三种:checks 是确定性的 Python 判分脚本,读交付物、跑断言;rubric 是 LLM 评审,按标准打分;checks-judge 两者都有。

最狠的是它的分数结构。以我测得最多的那个结构任务为例:

分数结构

reward = 0.4 × 部分分 + 0.6 × [全部硬门槛通过] × 目标分。二十一道硬门槛,任何一道不过,六成分直接归零。

我第一次拿到的是 0.223:部分分 0.559,看着还行,但二十一道门槛全灭。这不是“差一点”,是「必须一次同时做对」。

先量成本,再谈分数

官方样例 custom-openai 是一个完整可跑的 harness,我没改结构,直接跑一个任务,把三个数记下来:

指标数值说明
耗时2,016 秒33.6 分钟,没有预算上限
输入 token22.75 M99.5% 命中缓存
输出 token218 k—
成本¥1.55DeepSeek Flash 错峰价
分数0.257部分分 0.559,门槛全灭

一个交付物只有五个小文件的任务,烧掉两千两百多万输入 token。它们花在哪?在读图纸、反复重读、验证、再重读。模型没有“读完就记住”这回事,每一步都要把全部历史重新送进上下文。

预算是最便宜的旋钮

改了一行代码:harness 启动时,把会话截止时间压到 HARNESS_BUDGET_SEC。到点强制收尾,交付文件照样按最后状态判分。

预算耗时输入 token成本分数
无上限2,016 s22.75 M¥1.550.257
20 分钟398 s2.79 M¥0.560.259
10 分钟146 s0.42 M¥0.140.227
25 分钟708 s6.0 M¥0.780.284

二十倍的 token 差距,分数在正负 0.03 之内——而单任务的标准差本来就有 ±0.05。也就是说,那些多出来的 token 几乎买不到东西。

一条经验

预算不是「给模型更多时间想」,而是「不让它无限重复」。到点强制收尾,交付物反而更完整——因为没有时间可以浪费在第三次重读同一份图纸上。

分数在输入端,不在提示词里

把预算压下来之后,剩下的失败开始暴露真实原因。它们不是算错,而是用错了数:设计里排了 7 根墙段,竣工记录里只有 5 根;造价报了 42.9 万,上限是 39.5 万;地震重量取了 3,449 kip,参考值 2,171 kip。

模型不是不会算,是它没有去读那些数字,而是按“典型值”假设了一个。所以真正该做的不是更好的提示词,是把项目文档翻译成它能直接用的形态。

于是写了一个 digest.py:任务开始时扫一遍工作目录,生成一份结构化摘要。

  • 表格:小表全量输出。工程进度表往往只有十几行,只给前六行等于没给。
  • 图纸:DXF 的实体统计、图层、块,以及按图层分组的完整标签清单——面板编号、开口编号与尺寸全在里面。
  • PDF:前十四页正文,外加一个“规则句”索引:含 shall、等号、不等号、单位的句子单独抽出来。
  • 点云:包围盒、z 分位数、字段结构。
  • 冲突扫描:所有出现 superseded、differ、accepted by RFI、erected position、record set 的句子,按原文列出。这就是“哪份文件说了算”。
  • 开口推断:按编号前缀分类(D 门、P 穿管、L 窗、EY 设备口),并说明窗下墙段仍算墙段。

每加一层,部分分和失败门槛数都在动:

版本部分分失败硬门槛总分
无 digest0.559110.223
+ 输入消化0.618110.247
+ 冲突扫描0.70660.282
+ 开口推断0.693—0.277
+ 条文检索0.70650.284

跳得最大的一步是冲突扫描。竣工记录里写着一句话:“erected positions differ from PC-101 Rev 2, accepted by RFI-041”。也就是说,这张图上画的位置不是实际位置,要以竣工记录为准。模型自己不会去比对七个文件里哪句话在说“我过时了”。

把规范变成可检索的证据

第二个工具是 lookup.py:把工作目录里所有 PDF、DOCX、Markdown 按段落切块,建一个 BM25 索引,缓存在本地。用起来就一行:

python3 _harness/lookup.py "parapet tributary height anchorage"

它返回段落原文、文件名和页码。加 --examples 会优先返回带数字的算例。零模型调用,不花钱,也不会把上下文打爆。

实际命中的三条,正好是三个失败门槛的答案:

  • SDC-02 §12.11.2.2.1:女儿墙悬挑的杠杆作用,锚固力要按悬臂算。
  • FEMA P-2192 式 12.10-1:Fpx 的公式与上下限。
  • DAP-2 第二阶段:墙段的柔度矩阵 fuu = h³/(3EI) + h/(GAv),以及开裂惯性矩取 0.5 倍。

失败门槛从 6 个降到 5 个。剩下的全是“和参考计算逐项一致”这类要求——那已经不属于检索能解决的范畴。

七个反例

这一段是这篇文章真正想写的部分。下面七个改动,每一个在写之前我都认为“这应该有用”。

尝试机制结果
通用自检完成前让它对着任务自查一遍0.224(−0.03)
数值交叉验算强制用第二条路径重算每个被打分的数字持平;另一个任务 +0.016,耗时三倍
交付物契约检查确定性比对模版的 JSON 键、表名、图层0.210
新鲜上下文评审新开上下文、不带推理过程,只挑毛病在噪声内
里程碑强制预算过半且没写文件,就强制先交粗糙版从未触发:文件在,错在内容
工具输出压缩单条输出从 3 万字符压到 8 千,省上下文token 翻倍:模型反复重读
强制方法提取先抽出协议里的编号步骤,再照着执行0.197(−0.09)

把它们放在一起看,原因只有一个:模型修不了它不理解的错。

事后验证只在“它其实已经知道怎么对”的时候有用。当它不知道的时候,让它自查一遍,它只是把同一段错误推理再演一次,顺便多花一倍时间。数值验算最典型:它认认真真写了第二套公式,但前提假设还是错的,于是两个数一起错,还对得上。

最反直觉的是压缩。少给上下文本来是为了省钱,结果 token 翻倍——因为模型看不到完整输出,就去反复读同一个文件。省钱的动作变成了花钱的动作。

多约束下,它不收敛

还有一个更重要的发现,来自最难的那个任务:从七张 PNG 图纸重建一个 27×21 米的数据大厅,并把三套头顶管线(桥架、母线、冷冻水管)布进去,要求零碰撞、每套管线各自成一个连通网络接到入口、每排机柜三套都要覆盖到 80% 以上、冷冻水还要够到每一台 CRAH,之外还有净高、喷淋、PDU 上空禁区。

我给它写了一个几何检查器:用 ifcopenshell 取每个构件的世界坐标包围盒,做三维重叠判定(超过 1 毫米算硬碰撞),再按服务算连通分量,算每排覆盖率,算每台 CRAH 到最近冷冻水管的距离。然后让 harness 在模型要收尾时自动跑一次,把报告塞回去。

反馈方式碰撞最低覆盖率碰撞门槛连通门槛
不给反馈10.55不过不过
模型自己查三次00.55过不过
自动检查一轮71.00不过不过(网络已全通)
多轮检查20.55不过不过

它在两个门槛之间来回摆动:告诉它碰撞,它把碰撞修到零,覆盖率掉回 0.55;告诉它覆盖率,它把三套管线铺满每一排、网络全部接通,碰撞又冒出七处。

机制

单指标可以优化,多指标不收敛。这就是这类 benchmark 平均分这么低的原因:它不是“差一点”,是必须一次同时满足。

两轮之后,数字是这样的

单次测量在这个任务上不可信——同一个任务七次跑,六次零分、一次 0.56。所以最后跑了两个完整轮次,五个任务各两次:

任务评分方式第一轮第二轮均值单任务成本
景观图修订rubric0.8960.5710.734¥0.31
防火测试备忘录rubric0.7020.6300.666¥0.28
地震隔板剪力checks0.2920.2820.287¥0.50
EOR 审阅意见checks+judge0.1760.2410.209¥0.75
管线避碰checks0.0000.0000.000¥0.62
集合—0.4130.3450.379¥0.49

按这个成本外推 29 个公开任务:约 14 元、三到四小时串行。这个量级意味着,预算不再是实验的约束——真正的约束变成了「怎么把分数做上去」。

但要说清楚三件事。第一,相对官方样例,分数基本没动:地震任务 0.257 到 0.287,审阅任务 0.271 到 0.209,都在噪声里。真正稳定的是成本,降了大约三倍。第二,五个任务里只有两个跑过真正的基线,这是这次工作最大的方法缺陷。第三,分数几乎完全由交付物类型决定:写文档的 rubric 任务在 0.67 到 0.73,要求精确数值的 checks 任务在 0.00 到 0.29。

结论

三个月里试过的改动可以归成三句:

一是先量成本。一个到点强制收尾的预算,是唯一既便宜又不掉分的旋钮。它买到的东西不是“更多思考”,而是“停止重复”。

二是把数据喂对。把排期、图层、标签、冲突句、规则句按模型能直接用的单位摊开,比任何一句提示词都值钱。分数卡住的时候,先怀疑它看到的东西不对,而不是怀疑它不够聪明。

三是别指望事后验证。自检、验算、评审、契约检查,在模型真不懂的时候全都没用。要测就测门槛,别测文笔。

方法 / 数字来自 29 个公开开发任务中的 7 个,两个完整轮次;单任务成本按 DeepSeek V4.1 Flash 错峰价(缓存命中 $0.003/M、未命中 $0.15/M、输出 $0.60/M)折算,汇率按 7.1。四个任务因镜像构建需要联网或数据不完整而未能在本地运行。提交物中的 artifacts/ 用 DeepSeek 生成、而声明的模型必须是 google-cloud/*,这一点在说明文里如实披露——它也是这个参赛作品最大的未决风险。不宣称任何名次。