目标很具体:在两张 22GB 的 2080 Ti 上,用 UD-IQ4_XS 把一个 125B 级的 MoE 跑在 128K 上下文。它比 27B 的稠密模型大一个量级,靠的是只加载命中专家;代价是每次换配置、引擎都要把 35 到 55GB 重新读进内存,一到三分钟。

于是问题从“哪个参数更快”变成了“我该怎么安排这十几次重启”。这一篇写的就是后一个问题,以及在这个过程里发现的两件与硬件有关的事。

三分钟意味着什么

三分钟本身不贵。贵的是它会改变你做实验的方式:

  • 一次只改一个参数 → 十几次重启 → 四十分钟,只算等待;
  • 想“顺手再试一下”某个开关 → 又是三分钟,而且这次重启的基线已经不干净了;
  • 中途发现测法有问题 → 不是改脚本,是全部重来。

所以第一个决定不是选参数,而是把测量口径固定下来,让每次重启产出的数据可以直接比较:流式请求;用首 token 时间把 TTFT 和解码分开;固定 prompt 与输出长度;每项至少五轮取中位数并记录 min/max/stdev;每次配置变更后先丢弃一次 warmup。

这套口径是从前一个项目继承的——27B 那次也是这么测的,包括 80 与 46 里那组被功耗墙解释掉的数字。口径不统一,重启成本会翻倍,因为你还得回来重测。

一次重启,一组实验

编排原则只有一条:同一个引擎配置,做完一整组测试。所以实验被排成了批次,而不是一张参数表。

批次配置这一组要回答什么
0单卡 · 128K · 图像开基线:质量分与速度,全套用例跑一遍
1单卡 + BF16 tensor core 开关2080 Ti 专属优化到底值多少(同批次内 off/on 交替)
2单卡 vs 层切分 vs 手写切分点双卡是容量翻倍,还是也更快
3把双卡丢掉的两项优化显式打开丢掉的能不能找回来
4两路并发合计 tok/s 是否值得让每路变慢
5KV 精度 8-bit / k8v4 / q4_0省下的显存能换多少个专家,质量掉多少
6chunk 大小与预留预填充的分块最优值
7同硬件 vLLM 正面比两种架构在 agent 场景下的取舍(模型不同,不比谁快)

这张表的价值不在于它多完整,而在于它承认了重启成本:每多一个批次,就多一次三分钟;所以能合并的合并,能交替的在同一批次里交替。

顺便说

批量并发那组,文档给的参考是单路 82 tok/s、双路合计 89.2(+8.8%),但每路降到约 44.6。也就是说“充分利用两张卡”和“一个人调代码更快”是两件事,得先想清楚要哪个。

双卡丢掉的两项优化

这是查文档时最不舒服的发现:引擎有两项自动优化,只在单卡时生效。

优化单卡层切分(双卡)
预填充 CPU 分担默认开默认关,要显式设
PCIe 分流比例自动整定默认开CUDA 上层切分不使用
路由尾部跳过开也生效

换句话说,把第二张卡加进来,不只是多了一份显存,还少了两条优化。如果只测“单卡 vs 双卡”的端到端速度,你会把这两件事混成一个数字,然后得出一个错误的结论——不管是哪个方向。

这也是批次 3 存在的理由:先把双卡丢掉的优化显式打开,再比较。否则 A/B 的 B 组根本不是“更多硬件”,而是“更多硬件减两条默认优化”。

第二件与硬件有关的事更讽刺:这两张卡之间有 NVLink NV2,实测 P2P 带宽 44 GB/s。而层切分这个模式,文档明确说它不需要 NVLink——每张卡各算自己的层,串行往下传,几百 KB 一个窗口。

结果是:44 GB/s 的链路在层切分下基本闲置。真正能用上它的是另一种模式——在同一个 token 内把不同专家分到两张卡上同时算,激活与结果走 P2P。官方文档里有一条“2080 Ti 当 helper 会更慢”的结论,但它测的是旧的 host 缓冲版本,而且那台机器的两张卡根本不能 NVLink。

所以这是一个“官方结论不适用于工作站”的典型:双 2080 Ti + NVLink + 慢 CPU,恰好是这种模式的理想硬件,而它从来没被这样测过(至少公开记录里没有)。这被排成了批次 8。

449 MB 的另一半

还有一件更笨的事。启动前看了一眼两个 NUMA 节点的空闲内存:

node0  空闲 449 MB      ← GPU0 就在这个节点
node1  空闲 12.4 GB     ← GPU1 在这个节点

页缓存把 node0 吃满了。如果专家池按节点分配,GPU0 的那一半就会落到远端内存,每次访问多一跳。这不是模型问题,是摆放问题。

更夸张的参照来自文档:只加线程亲和性(不改一行 kernel),一张 5090 上从 142.82 涨到 207.75 tok/s,+45%。在 88 个线程的双路机器上,能摆错的地方比单路桌面多得多。

用例怎么判分

速度之外还有质量。这里我坚持一条:能用程序判分的题,绝不用人眼判分。用例被分成七类,判分方式从强到弱:

类内容判分
A确定性推理抽最后一个数字精确匹配
B代码(反转链表、LRU、二分边界、修 off-by-one)抽出代码 → 跑单元测试
C指令遵循(只输出 JSON、恰好三条、禁用某个词)解析 + 计数 + 字符检查
D中文能力(解释、翻译、长文摘要)关键词表覆盖 + 人工抽查
E长上下文检索(8K/32K/64K/128K × 五个位置)答案是否含埋入的唯一串
F工具调用(单轮、多轮、参数类型、不该调时不调)JSON schema 校验;两个端点都测
G视觉(柱状图、表格、文字、计数)图是 PIL 画的,答案就是画上去的那个数

G 类值得单独说:用程序生成图,ground truth 不需要人来标,也不会有争议。这比拿一张真实截图去问“这张图里有什么”可靠得多——后者你永远不确定是模型错了还是标注错了。

还没测的部分

写到这里必须说清楚:这篇里的批次表是计划,不是结果。已经确定的只有几件事——重启的成本、两项优化在双卡下失效、NVLink 在层切分下闲置、NUMA 的不均衡、以及 128K 下 KV 的显存放量(8-bit 约 2.21GB,k8v4 1.71GB,q4_0 1.21GB,对应省下 23% / 45%)。

真正要回答的问题——“双卡到底是不是更快”“peer tier 能不能把 NVLink 用起来”“KV 压缩会掉多少分”——都还在待测。等测完,这一篇会变成数据表;在那之前,它是一份实验设计说明,这也是一种值得写下来的东西。

方法 / 硬件与成本数字来自工作站 research/strata/EXPERIMENTS.md 与引擎文档:2 × RTX 2080 Ti 22GB、NVLink NV2(实测 P2P 44 GB/s)、双路 Xeon E5-2696 v4(44C/88T)、94GB DDR4、驱动 580 系列。批次表与用例集是待执行计划,文中没有把它们写成已完成的结果。