目标很具体:在两张 22GB 的 2080 Ti 上,用 UD-IQ4_XS 把一个 125B 级的 MoE 跑在 128K 上下文。它比 27B 的稠密模型大一个量级,靠的是只加载命中专家;代价是每次换配置、引擎都要把 35 到 55GB 重新读进内存,一到三分钟。
于是问题从“哪个参数更快”变成了“我该怎么安排这十几次重启”。这一篇写的就是后一个问题,以及在这个过程里发现的两件与硬件有关的事。
三分钟意味着什么
三分钟本身不贵。贵的是它会改变你做实验的方式:
- 一次只改一个参数 → 十几次重启 → 四十分钟,只算等待;
- 想“顺手再试一下”某个开关 → 又是三分钟,而且这次重启的基线已经不干净了;
- 中途发现测法有问题 → 不是改脚本,是全部重来。
所以第一个决定不是选参数,而是把测量口径固定下来,让每次重启产出的数据可以直接比较:流式请求;用首 token 时间把 TTFT 和解码分开;固定 prompt 与输出长度;每项至少五轮取中位数并记录 min/max/stdev;每次配置变更后先丢弃一次 warmup。
这套口径是从前一个项目继承的——27B 那次也是这么测的,包括 80 与 46 里那组被功耗墙解释掉的数字。口径不统一,重启成本会翻倍,因为你还得回来重测。
一次重启,一组实验
编排原则只有一条:同一个引擎配置,做完一整组测试。所以实验被排成了批次,而不是一张参数表。
| 批次 | 配置 | 这一组要回答什么 |
|---|---|---|
| 0 | 单卡 · 128K · 图像开 | 基线:质量分与速度,全套用例跑一遍 |
| 1 | 单卡 + BF16 tensor core 开关 | 2080 Ti 专属优化到底值多少(同批次内 off/on 交替) |
| 2 | 单卡 vs 层切分 vs 手写切分点 | 双卡是容量翻倍,还是也更快 |
| 3 | 把双卡丢掉的两项优化显式打开 | 丢掉的能不能找回来 |
| 4 | 两路并发 | 合计 tok/s 是否值得让每路变慢 |
| 5 | KV 精度 8-bit / k8v4 / q4_0 | 省下的显存能换多少个专家,质量掉多少 |
| 6 | chunk 大小与预留 | 预填充的分块最优值 |
| 7 | 同硬件 vLLM 正面比 | 两种架构在 agent 场景下的取舍(模型不同,不比谁快) |
这张表的价值不在于它多完整,而在于它承认了重启成本:每多一个批次,就多一次三分钟;所以能合并的合并,能交替的在同一批次里交替。
批量并发那组,文档给的参考是单路 82 tok/s、双路合计 89.2(+8.8%),但每路降到约 44.6。也就是说“充分利用两张卡”和“一个人调代码更快”是两件事,得先想清楚要哪个。
双卡丢掉的两项优化
这是查文档时最不舒服的发现:引擎有两项自动优化,只在单卡时生效。
| 优化 | 单卡 | 层切分(双卡) |
|---|---|---|
| 预填充 CPU 分担 | 默认开 | 默认关,要显式设 |
| PCIe 分流比例自动整定 | 默认开 | CUDA 上层切分不使用 |
| 路由尾部跳过 | 开 | 也生效 |
换句话说,把第二张卡加进来,不只是多了一份显存,还少了两条优化。如果只测“单卡 vs 双卡”的端到端速度,你会把这两件事混成一个数字,然后得出一个错误的结论——不管是哪个方向。
这也是批次 3 存在的理由:先把双卡丢掉的优化显式打开,再比较。否则 A/B 的 B 组根本不是“更多硬件”,而是“更多硬件减两条默认优化”。
闲置的 NVLink
第二件与硬件有关的事更讽刺:这两张卡之间有 NVLink NV2,实测 P2P 带宽 44 GB/s。而层切分这个模式,文档明确说它不需要 NVLink——每张卡各算自己的层,串行往下传,几百 KB 一个窗口。
结果是:44 GB/s 的链路在层切分下基本闲置。真正能用上它的是另一种模式——在同一个 token 内把不同专家分到两张卡上同时算,激活与结果走 P2P。官方文档里有一条“2080 Ti 当 helper 会更慢”的结论,但它测的是旧的 host 缓冲版本,而且那台机器的两张卡根本不能 NVLink。
所以这是一个“官方结论不适用于工作站”的典型:双 2080 Ti + NVLink + 慢 CPU,恰好是这种模式的理想硬件,而它从来没被这样测过(至少公开记录里没有)。这被排成了批次 8。
449 MB 的另一半
还有一件更笨的事。启动前看了一眼两个 NUMA 节点的空闲内存:
node0 空闲 449 MB ← GPU0 就在这个节点
node1 空闲 12.4 GB ← GPU1 在这个节点
页缓存把 node0 吃满了。如果专家池按节点分配,GPU0 的那一半就会落到远端内存,每次访问多一跳。这不是模型问题,是摆放问题。
更夸张的参照来自文档:只加线程亲和性(不改一行 kernel),一张 5090 上从 142.82 涨到 207.75 tok/s,+45%。在 88 个线程的双路机器上,能摆错的地方比单路桌面多得多。
用例怎么判分
速度之外还有质量。这里我坚持一条:能用程序判分的题,绝不用人眼判分。用例被分成七类,判分方式从强到弱:
| 类 | 内容 | 判分 |
|---|---|---|
| A | 确定性推理 | 抽最后一个数字精确匹配 |
| B | 代码(反转链表、LRU、二分边界、修 off-by-one) | 抽出代码 → 跑单元测试 |
| C | 指令遵循(只输出 JSON、恰好三条、禁用某个词) | 解析 + 计数 + 字符检查 |
| D | 中文能力(解释、翻译、长文摘要) | 关键词表覆盖 + 人工抽查 |
| E | 长上下文检索(8K/32K/64K/128K × 五个位置) | 答案是否含埋入的唯一串 |
| F | 工具调用(单轮、多轮、参数类型、不该调时不调) | JSON schema 校验;两个端点都测 |
| G | 视觉(柱状图、表格、文字、计数) | 图是 PIL 画的,答案就是画上去的那个数 |
G 类值得单独说:用程序生成图,ground truth 不需要人来标,也不会有争议。这比拿一张真实截图去问“这张图里有什么”可靠得多——后者你永远不确定是模型错了还是标注错了。
还没测的部分
写到这里必须说清楚:这篇里的批次表是计划,不是结果。已经确定的只有几件事——重启的成本、两项优化在双卡下失效、NVLink 在层切分下闲置、NUMA 的不均衡、以及 128K 下 KV 的显存放量(8-bit 约 2.21GB,k8v4 1.71GB,q4_0 1.21GB,对应省下 23% / 45%)。
真正要回答的问题——“双卡到底是不是更快”“peer tier 能不能把 NVLink 用起来”“KV 压缩会掉多少分”——都还在待测。等测完,这一篇会变成数据表;在那之前,它是一份实验设计说明,这也是一种值得写下来的东西。
方法 / 硬件与成本数字来自工作站 research/strata/EXPERIMENTS.md 与引擎文档:2 × RTX 2080 Ti 22GB、NVLink NV2(实测 P2P 44 GB/s)、双路 Xeon E5-2696 v4(44C/88T)、94GB DDR4、驱动 580 系列。批次表与用例集是待执行计划,文中没有把它们写成已完成的结果。