这不是一个把模型调得更准的评测,它回答一个更基础的问题:一个 agent 跑到工程任务上,钱花在哪、分丢在哪。
结论先放在这里:把每任务的时间预算压到原来的三分之一,分数没掉;把项目文档压成模型真正读得懂的形态,部分分涨了两成;而所有“让它自查一遍”的改动,一个都没用。
这个比赛在考什么
Physical-Engineering's Last Exam(PLE)由 Google 云 AI 研究和 Mercor 合作发布,85 个专家审校的长程工程任务,覆盖结构、土木、电气、机械四个方向。公开开发集 29 个,隐藏测试集 56 个。
每个任务是一个隔离容器里的真实项目文件夹,最多五十个文件:多页 PDF 施工图、IFC4 和 DXF 模型、负荷与接线表、地质钻孔记录、规范条文摘录,还有本地的 MCP 服务(邮件、日历、文档、CAD)。单个任务限时六小时。
要交的东西也不是预测文件,而是一个仓库:submission.yaml 声明模型和启动命令,serve.py 是一个 WebSocket 服务,再加 29 个公开任务的 artifacts/。第一阶段交两千字以内的说明文,按 100 分制评审——洞察与失败分析 25 分、工程推理 25 分、跨模型泛化 15 分、效率与扩展 20 分、清晰度与图表 15 分。前一百名进入第二阶段,在 56 个隐藏任务上实测。
奖金四十万美元,前三名分走。我写这篇时是 48 支队伍。
评测的形状
理解这个比赛,关键是理解它怎么跑。你的 harness 跑在自己的容器里,任务跑在第二个容器里,两个容器都不通外网(只有模型端点可达)。协议是一串 JSON 帧:exec 跑命令、read_file 读文件、write_file 写文件、http 打本地 MCP,最后用 done 收尾。
也就是说,模型能做的每一件事,都是 harness 代替它向评测器发的一个请求。没有后门,没有“直接改容器”,也没有“偷偷联网”。
评分有三种:checks 是确定性的 Python 判分脚本,读交付物、跑断言;rubric 是 LLM 评审,按标准打分;checks-judge 两者都有。
最狠的是它的分数结构。以我测得最多的那个结构任务为例:
reward = 0.4 × 部分分 + 0.6 × [全部硬门槛通过] × 目标分。二十一道硬门槛,任何一道不过,六成分直接归零。
我第一次拿到的是 0.223:部分分 0.559,看着还行,但二十一道门槛全灭。这不是“差一点”,是「必须一次同时做对」。
先量成本,再谈分数
官方样例 custom-openai 是一个完整可跑的 harness,我没改结构,直接跑一个任务,把三个数记下来:
| 指标 | 数值 | 说明 |
|---|---|---|
| 耗时 | 2,016 秒 | 33.6 分钟,没有预算上限 |
| 输入 token | 22.75 M | 99.5% 命中缓存 |
| 输出 token | 218 k | — |
| 成本 | ¥1.55 | DeepSeek Flash 错峰价 |
| 分数 | 0.257 | 部分分 0.559,门槛全灭 |
一个交付物只有五个小文件的任务,烧掉两千两百多万输入 token。它们花在哪?在读图纸、反复重读、验证、再重读。模型没有“读完就记住”这回事,每一步都要把全部历史重新送进上下文。
预算是最便宜的旋钮
改了一行代码:harness 启动时,把会话截止时间压到 HARNESS_BUDGET_SEC。到点强制收尾,交付文件照样按最后状态判分。
| 预算 | 耗时 | 输入 token | 成本 | 分数 |
|---|---|---|---|---|
| 无上限 | 2,016 s | 22.75 M | ¥1.55 | 0.257 |
| 20 分钟 | 398 s | 2.79 M | ¥0.56 | 0.259 |
| 10 分钟 | 146 s | 0.42 M | ¥0.14 | 0.227 |
| 25 分钟 | 708 s | 6.0 M | ¥0.78 | 0.284 |
二十倍的 token 差距,分数在正负 0.03 之内——而单任务的标准差本来就有 ±0.05。也就是说,那些多出来的 token 几乎买不到东西。
预算不是「给模型更多时间想」,而是「不让它无限重复」。到点强制收尾,交付物反而更完整——因为没有时间可以浪费在第三次重读同一份图纸上。
分数在输入端,不在提示词里
把预算压下来之后,剩下的失败开始暴露真实原因。它们不是算错,而是用错了数:设计里排了 7 根墙段,竣工记录里只有 5 根;造价报了 42.9 万,上限是 39.5 万;地震重量取了 3,449 kip,参考值 2,171 kip。
模型不是不会算,是它没有去读那些数字,而是按“典型值”假设了一个。所以真正该做的不是更好的提示词,是把项目文档翻译成它能直接用的形态。
于是写了一个 digest.py:任务开始时扫一遍工作目录,生成一份结构化摘要。
- 表格:小表全量输出。工程进度表往往只有十几行,只给前六行等于没给。
- 图纸:DXF 的实体统计、图层、块,以及按图层分组的完整标签清单——面板编号、开口编号与尺寸全在里面。
- PDF:前十四页正文,外加一个“规则句”索引:含
shall、等号、不等号、单位的句子单独抽出来。 - 点云:包围盒、z 分位数、字段结构。
- 冲突扫描:所有出现 superseded、differ、accepted by RFI、erected position、record set 的句子,按原文列出。这就是“哪份文件说了算”。
- 开口推断:按编号前缀分类(D 门、P 穿管、L 窗、EY 设备口),并说明窗下墙段仍算墙段。
每加一层,部分分和失败门槛数都在动:
| 版本 | 部分分 | 失败硬门槛 | 总分 |
|---|---|---|---|
| 无 digest | 0.559 | 11 | 0.223 |
| + 输入消化 | 0.618 | 11 | 0.247 |
| + 冲突扫描 | 0.706 | 6 | 0.282 |
| + 开口推断 | 0.693 | — | 0.277 |
| + 条文检索 | 0.706 | 5 | 0.284 |
跳得最大的一步是冲突扫描。竣工记录里写着一句话:“erected positions differ from PC-101 Rev 2, accepted by RFI-041”。也就是说,这张图上画的位置不是实际位置,要以竣工记录为准。模型自己不会去比对七个文件里哪句话在说“我过时了”。
把规范变成可检索的证据
第二个工具是 lookup.py:把工作目录里所有 PDF、DOCX、Markdown 按段落切块,建一个 BM25 索引,缓存在本地。用起来就一行:
python3 _harness/lookup.py "parapet tributary height anchorage"
它返回段落原文、文件名和页码。加 --examples 会优先返回带数字的算例。零模型调用,不花钱,也不会把上下文打爆。
实际命中的三条,正好是三个失败门槛的答案:
- SDC-02 §12.11.2.2.1:女儿墙悬挑的杠杆作用,锚固力要按悬臂算。
- FEMA P-2192 式 12.10-1:
Fpx的公式与上下限。 - DAP-2 第二阶段:墙段的柔度矩阵
fuu = h³/(3EI) + h/(GAv),以及开裂惯性矩取 0.5 倍。
失败门槛从 6 个降到 5 个。剩下的全是“和参考计算逐项一致”这类要求——那已经不属于检索能解决的范畴。
七个反例
这一段是这篇文章真正想写的部分。下面七个改动,每一个在写之前我都认为“这应该有用”。
| 尝试 | 机制 | 结果 |
|---|---|---|
| 通用自检 | 完成前让它对着任务自查一遍 | 0.224(−0.03) |
| 数值交叉验算 | 强制用第二条路径重算每个被打分的数字 | 持平;另一个任务 +0.016,耗时三倍 |
| 交付物契约检查 | 确定性比对模版的 JSON 键、表名、图层 | 0.210 |
| 新鲜上下文评审 | 新开上下文、不带推理过程,只挑毛病 | 在噪声内 |
| 里程碑强制 | 预算过半且没写文件,就强制先交粗糙版 | 从未触发:文件在,错在内容 |
| 工具输出压缩 | 单条输出从 3 万字符压到 8 千,省上下文 | token 翻倍:模型反复重读 |
| 强制方法提取 | 先抽出协议里的编号步骤,再照着执行 | 0.197(−0.09) |
把它们放在一起看,原因只有一个:模型修不了它不理解的错。
事后验证只在“它其实已经知道怎么对”的时候有用。当它不知道的时候,让它自查一遍,它只是把同一段错误推理再演一次,顺便多花一倍时间。数值验算最典型:它认认真真写了第二套公式,但前提假设还是错的,于是两个数一起错,还对得上。
最反直觉的是压缩。少给上下文本来是为了省钱,结果 token 翻倍——因为模型看不到完整输出,就去反复读同一个文件。省钱的动作变成了花钱的动作。
多约束下,它不收敛
还有一个更重要的发现,来自最难的那个任务:从七张 PNG 图纸重建一个 27×21 米的数据大厅,并把三套头顶管线(桥架、母线、冷冻水管)布进去,要求零碰撞、每套管线各自成一个连通网络接到入口、每排机柜三套都要覆盖到 80% 以上、冷冻水还要够到每一台 CRAH,之外还有净高、喷淋、PDU 上空禁区。
我给它写了一个几何检查器:用 ifcopenshell 取每个构件的世界坐标包围盒,做三维重叠判定(超过 1 毫米算硬碰撞),再按服务算连通分量,算每排覆盖率,算每台 CRAH 到最近冷冻水管的距离。然后让 harness 在模型要收尾时自动跑一次,把报告塞回去。
| 反馈方式 | 碰撞 | 最低覆盖率 | 碰撞门槛 | 连通门槛 |
|---|---|---|---|---|
| 不给反馈 | 1 | 0.55 | 不过 | 不过 |
| 模型自己查三次 | 0 | 0.55 | 过 | 不过 |
| 自动检查一轮 | 7 | 1.00 | 不过 | 不过(网络已全通) |
| 多轮检查 | 2 | 0.55 | 不过 | 不过 |
它在两个门槛之间来回摆动:告诉它碰撞,它把碰撞修到零,覆盖率掉回 0.55;告诉它覆盖率,它把三套管线铺满每一排、网络全部接通,碰撞又冒出七处。
单指标可以优化,多指标不收敛。这就是这类 benchmark 平均分这么低的原因:它不是“差一点”,是必须一次同时满足。
两轮之后,数字是这样的
单次测量在这个任务上不可信——同一个任务七次跑,六次零分、一次 0.56。所以最后跑了两个完整轮次,五个任务各两次:
| 任务 | 评分方式 | 第一轮 | 第二轮 | 均值 | 单任务成本 |
|---|---|---|---|---|---|
| 景观图修订 | rubric | 0.896 | 0.571 | 0.734 | ¥0.31 |
| 防火测试备忘录 | rubric | 0.702 | 0.630 | 0.666 | ¥0.28 |
| 地震隔板剪力 | checks | 0.292 | 0.282 | 0.287 | ¥0.50 |
| EOR 审阅意见 | checks+judge | 0.176 | 0.241 | 0.209 | ¥0.75 |
| 管线避碰 | checks | 0.000 | 0.000 | 0.000 | ¥0.62 |
| 集合 | — | 0.413 | 0.345 | 0.379 | ¥0.49 |
按这个成本外推 29 个公开任务:约 14 元、三到四小时串行。这个量级意味着,预算不再是实验的约束——真正的约束变成了「怎么把分数做上去」。
但要说清楚三件事。第一,相对官方样例,分数基本没动:地震任务 0.257 到 0.287,审阅任务 0.271 到 0.209,都在噪声里。真正稳定的是成本,降了大约三倍。第二,五个任务里只有两个跑过真正的基线,这是这次工作最大的方法缺陷。第三,分数几乎完全由交付物类型决定:写文档的 rubric 任务在 0.67 到 0.73,要求精确数值的 checks 任务在 0.00 到 0.29。
结论
三个月里试过的改动可以归成三句:
一是先量成本。一个到点强制收尾的预算,是唯一既便宜又不掉分的旋钮。它买到的东西不是“更多思考”,而是“停止重复”。
二是把数据喂对。把排期、图层、标签、冲突句、规则句按模型能直接用的单位摊开,比任何一句提示词都值钱。分数卡住的时候,先怀疑它看到的东西不对,而不是怀疑它不够聪明。
三是别指望事后验证。自检、验算、评审、契约检查,在模型真不懂的时候全都没用。要测就测门槛,别测文笔。
方法 / 数字来自 29 个公开开发任务中的 7 个,两个完整轮次;单任务成本按 DeepSeek V4.1 Flash 错峰价(缓存命中 $0.003/M、未命中 $0.15/M、输出 $0.60/M)折算,汇率按 7.1。四个任务因镜像构建需要联网或数据不完整而未能在本地运行。提交物中的 artifacts/ 用 DeepSeek 生成、而声明的模型必须是 google-cloud/*,这一点在说明文里如实披露——它也是这个参赛作品最大的未决风险。不宣称任何名次。