把 27B 的 FP8 模型切成两半,放在两张 22GB 的卡上,开 256K 上下文,开 MTP 投机解码。服务起来了,能对话,能调工具,KV cache 装得下。然后我跑基准,拿到 46 tok/s。

这个分支的文档写的是 80。差得有点多,值得查一下——因为“本地模型慢”和“我的配置有问题”是两种完全不同的结论,而它们看起来一样。

三个数字

先摆配置,否则数字没有意义:

项值
模型 / 精度Qwen3.8-27B-FP8 · W8A16(FP8 权重、FP16 激活)
并行 / 投机TP=2 · MTP/3 · FLASHINFER 注意力
上下文 / KV262,144 tokens · GPU KV cache 276,788 tokens
显存占用GPU0 21.5 GB / GPU1 21.1 GB
功耗上限180 W(默认 250 W,最大 280 W)
软件栈vLLM 0.29.1rc0 SM75 fork · PyTorch 2.13+cu130 · CUDA 13.0 · 驱动 580
46.1tok/s · 思考开
52.1tok/s · 思考关
1,978tok/s 预填充 @4K
276,788tokens KV cache

46 和 52 都是三轮以上、丢掉 warmup 之后的中位数,不是最好的一次。

思考的代价

“思考”模式(reasoning trace)解码慢约 13%:52.1 → 46.1。原因和 MTP 有关——投机解码要靠草稿 token 的接受率,而推理痕迹的可预测性比正文低,草稿更容易被否决,每步平均吐出的 token 数下降。

这个差距换上别的硬件可能不明显,在双路 Xeon + 2 × 2080 Ti 的这套配置上却稳定,因为它不是被带宽卡住的,是被每步的计算量卡住的(下一节)。

为什么不是 80

两个原因,都不神秘。

第一,那个 80 是合成基准。分支文档自己写着:两者的输入是为高投机接受率构造的合成样本,用于同等条件下的吞吐对比,不代表真实推理。真实草稿接受率更低,于是每步吐出的 token 更少。

第二,工作站被压在 180W。MTP/3 每步要验证三个草稿 token,是典型的计算密集负载——恰恰是功耗墙最不宽容的那类。两张卡在满载时都稳定贴在 180W(峰值 182W / 179W),利用率 100%,SM 时钟封在 1845 / 1830 MHz。也就是说:卡没跑满频率,不是因为热,是因为电。

撞在 180W 上

GPU峰值均值上限最高 SM 时钟利用率
0182 W178 W180 W1,845 MHz100%
1179 W175 W180 W1,830 MHz100%

180W 不是硬件限制:默认上限是 250W,最大 280W。它是我自己设的策略,用 nvidia-smi -pl 加上开机自动恢复,因为两台满功耗的卡会让这间屋子在半小时内变暖。

这是一次典型的取舍:把可预测性(不吵、不热、不断电)换成吞吐。写下来,是因为下次看到“本地 27B 46 tok/s”这类数字时,应该先问功耗上限,而不是先怀疑量化。

MTP/2 与 MTP/3

直觉上,草稿 token 越多越快。实测不是:

草稿数思考中位数最小最大标准差
MTP/2关50.849.451.70.88
MTP/2开46.143.750.42.41
MTP/3关51.245.556.84.27
MTP/3开45.642.649.42.34

差别都在 0.4–0.5 tok/s,比跑与跑之间的离散度小一个量级。MTP/2 与 MTP/3 在工作站上统计上无法区分。

MTP/3 那一组的“思考关”还暴露了一个采样陷阱:六次从 56.8 一路漂到 45.5,前面几次是冷卡的赠品,稳态在 50–51。MTP/2 的 σ 只有 0.88,很快就落到同一个稳态。所以我把配置留在了默认的 MTP/3——不是因为更快,而是因为没有理由改。

预填充没问题

如果功耗墙是唯一原因,预填充也该掉下来。它没有:

提示长度首 token 延迟预填充吞吐
74122 ms~600 tok/s(开销主导)
~1K940 ms1,244 tok/s
~4K2.3 s1,978 tok/s
~16K13.2 s1,354 tok/s

分支文档给这个模型的预填充参考是 1,409–1,653 tok/s,我们在 4K 上是 1,978,超过了它。这正好反证了前面的解释:预填充对“每步多算几个 token”没那么敏感,也就不那么依赖功耗余量。

它没有证明什么

这组数字不能说明 2080 Ti 不适合本地推理,也不能说明 MTP 没用——它只说明在 180W、这个驱动、这个分支上,一个 27B 的 FP8 模型能稳定给出 46 tok/s、256K 上下文、21GB 级显存占用,能跑工具调用。

它也不能直接和“48GB 统一内存的 Mac”或“一张 3090”比较,因为上下文长度、量化方式、功耗上限都不一样。要看对比,得先把这三个变量钉住。

最有用的结论其实很小:报 tok/s 的时候,必须同时报功耗上限和上下文长度,否则这个数字只描述了一个不受约束的理想情况。

方法 / 数据来自工作站 vllm-2080ti/RESULTS.md 的实测记录:流式请求、用首 token 时间分离 TTFT 与解码、固定 prompt 与输出长度、每项至少五轮取中位数并记 min/max/stdev、每次配置变更后丢弃一次 warmup。完整配置表见站点 本地推理 页。