评测本地模型有一个反复出现的困境:想要一个数字,但任何数字都不太可信。用十个问题测,噪声比差异大;用一千个问题测,题库从哪来、谁来判主观题、判官自己有没有偏好,每个都是坑。

LMExamBench 是我对这个困境的答案。它的形状不是“跑一个 benchmark”,而是“组织一场考试”:有阶段、有科目、有权重、有判分规则,也有明确的“这次样本不够”。

为什么是考试

因为考试这种形式已经解决了一些我们正在重新发明的问题:

  • 分层:小学、初中、高中、大学、硕士,加上软考、大厂面试、LeetCode,共八个阶段。不同阶段的题目难度和判分方式本来就不同,混在一起算平均分毫无意义。
  • 权重:岗位方案(profiles.json)决定一个“Java 后端”该考哪些阶段、各占多少、能力维度怎么加权。同一份题库,换岗位方案就是另一场考试。
  • 科目:数据结构、算法、操作系统、网络、数据库——分数能拆到科目,才看得出“哪块不行”。

题库本身不入库(版权问题),仓库里给的是一套用 AI 生成原创题库的技能(skills/generate-bank)和 schema。工作站现在有 617 道题,八个阶段从 57 到 106 道不等。

试卷模式

最容易被忽略、但可能是最重要的一个功能:--paper N。它按“阶段 × 学科/岗位”每个部分抽 N 题组卷,而不是随机抽 N 道题。

区别很大。随机抽题会得到“25 道小学题 + 1 道硕士题”这种卷子,然后你拿它去比较两个模型——比的是谁更会做小学题。按部分抽题保证每个阶段都有代表性,同时它也会诚实地告诉你:某个部分不足 2 题,标 ⚠ 样本不足,别下结论。

三轨判分

题型判分细节
客观题规则匹配数值容差;多选按 (命中 − 错选) / 正确数 部分给分;填空支持多答案
代码题子进程跑用例单样本按通过率,多样本按 pass@k;支持隐藏用例
主观题LLM 裁判按 rubric 逐要点 0–1 打分;debias 时正反序各判一次取均值

代码题必须真的跑起来。这是我最坚持的一条:让模型写一段代码,然后由人来目测它“看起来对不对”,等于把评测变成了审美。抽代码块、套测试、跑单元测试,答案只有通过/不通过——虽然粗暴,但不可争论。

裁判要能换掉

主观题的裁判是一个 LLM,这引入了一个新问题:裁判自己有偏好。我做了两件事。

第一,被测和裁判完全解耦:两个独立的 base_url / api_key / model。可以用本地 7B 当裁判、本地 27B 当考生,也可以反过来。裁判是否启用是一行配置(judge.enabled),关掉就只跑客观题。

第二,debias:同一个回答,正序和反序各判一次,取均值。它不能消除偏好,但能削弱“倾向于给第一个候选更高分”这种位置偏差——这是 LLM 当裁判最常见、也最容易复现的失效模式。

还有一个很小但关键的细节:运行记录会自动抹除密钥。评测工具最容易泄漏的不是模型,是配置。

67 与 84

工作站跑过两次,同一个模型(deepseek-v4.1-flash,本地 8080),每阶段 1 题共 8 题,判官关闭(只有客观/代码题):

运行配置差异加权分等级覆盖率耗时
第一次max_tokens 204867.39D · 及格75%215 s
第二次max_tokens 4096 · reasoning_effort=low83.7B · 良好87.5%201 s

同一个模型,分差 16 分。如果只看分数,结论会是“第二次的配置更好”。但真正的原因是另一个:两次都只抽了 8 题,覆盖率分别是 75% 和 87.5%——有些阶段根本没抽到题,或者只有一道。

框架在这里做对了一件事:它把 coverage 和 ungraded_n 摆在了总分旁边,并且对不足 2 题的部分标了样本不足。一个 8 题的考试能产出 67 也能产出 84,说明这个分数描述的是运气,不是能力。

评测的第一职责不是给出分数,而是给出这个分数的不确定度。

回头看,这两次运行并不是白跑:它们验证了整条链路(取题 → 调用 → 判分 → 聚合 → 报告),也验证了“样本不足”的提醒确实会触发。它们只是不该被当成结论。

可复判

评测工具最容易变成一次性脚本:跑完、导出、再也不打开。所以两个功能被当成一等公民:

  • regrade:用已存的回答,按当前判分规则重新判分。改了 rubric、加了容差、修了 bug,不用重新调用模型——这对本地模型尤其重要,因为一次全套运行可能要几十分钟。
  • audit:题库审计,查近似重复与覆盖。题库会随着生成技能不断长,重复题会让某个科目悄悄变重。

还有 compare:多运行对比,附区分度与难度统计。一个题目如果所有模型都做对,它对这个评测没有信息量——这和“题目太简单”不是一回事,前者是统计属性。

它不能做什么

它不判断“这个模型好不好”,只回答“在这次卷子上,它得了多少分”。换题库、换权重、换裁判,答案会变。

它也不解决题库的合法性:仓库刻意不内置题库,因为题目有版权。生成题库的技能是给“愿意自己出题”的人用的,不是给“想要一个标准答案”的人用的。

最后,8 题就是 8 题。试卷模式可以让这一次测量更有代表性,但它不能把 8 题变成 80 题。样本量不够时,最专业的输出是“样本量不够”。

方法 / 代码与文档见 NorwinYu/LMExamBench;两次运行记录来自工作站 runs/ 目录(2026-10-29,每次 8 题,判官关闭)。仓库不内置题库,工作站 617 道题为自行生成,不随仓库分发。分数为框架的加权百分比,不是排行榜名次。