把 27B 的 FP8 模型切成两半,放在两张 22GB 的卡上,开 256K 上下文,开 MTP 投机解码。服务起来了,能对话,能调工具,KV cache 装得下。然后我跑基准,拿到 46 tok/s。
这个分支的文档写的是 80。差得有点多,值得查一下——因为“本地模型慢”和“我的配置有问题”是两种完全不同的结论,而它们看起来一样。
三个数字
先摆配置,否则数字没有意义:
| 项 | 值 |
|---|---|
| 模型 / 精度 | Qwen3.8-27B-FP8 · W8A16(FP8 权重、FP16 激活) |
| 并行 / 投机 | TP=2 · MTP/3 · FLASHINFER 注意力 |
| 上下文 / KV | 262,144 tokens · GPU KV cache 276,788 tokens |
| 显存占用 | GPU0 21.5 GB / GPU1 21.1 GB |
| 功耗上限 | 180 W(默认 250 W,最大 280 W) |
| 软件栈 | vLLM 0.29.1rc0 SM75 fork · PyTorch 2.13+cu130 · CUDA 13.0 · 驱动 580 |
46 和 52 都是三轮以上、丢掉 warmup 之后的中位数,不是最好的一次。
思考的代价
“思考”模式(reasoning trace)解码慢约 13%:52.1 → 46.1。原因和 MTP 有关——投机解码要靠草稿 token 的接受率,而推理痕迹的可预测性比正文低,草稿更容易被否决,每步平均吐出的 token 数下降。
这个差距换上别的硬件可能不明显,在双路 Xeon + 2 × 2080 Ti 的这套配置上却稳定,因为它不是被带宽卡住的,是被每步的计算量卡住的(下一节)。
为什么不是 80
两个原因,都不神秘。
第一,那个 80 是合成基准。分支文档自己写着:两者的输入是为高投机接受率构造的合成样本,用于同等条件下的吞吐对比,不代表真实推理。真实草稿接受率更低,于是每步吐出的 token 更少。
第二,工作站被压在 180W。MTP/3 每步要验证三个草稿 token,是典型的计算密集负载——恰恰是功耗墙最不宽容的那类。两张卡在满载时都稳定贴在 180W(峰值 182W / 179W),利用率 100%,SM 时钟封在 1845 / 1830 MHz。也就是说:卡没跑满频率,不是因为热,是因为电。
撞在 180W 上
| GPU | 峰值 | 均值 | 上限 | 最高 SM 时钟 | 利用率 |
|---|---|---|---|---|---|
| 0 | 182 W | 178 W | 180 W | 1,845 MHz | 100% |
| 1 | 179 W | 175 W | 180 W | 1,830 MHz | 100% |
180W 不是硬件限制:默认上限是 250W,最大 280W。它是我自己设的策略,用 nvidia-smi -pl 加上开机自动恢复,因为两台满功耗的卡会让这间屋子在半小时内变暖。
这是一次典型的取舍:把可预测性(不吵、不热、不断电)换成吞吐。写下来,是因为下次看到“本地 27B 46 tok/s”这类数字时,应该先问功耗上限,而不是先怀疑量化。
MTP/2 与 MTP/3
直觉上,草稿 token 越多越快。实测不是:
| 草稿数 | 思考 | 中位数 | 最小 | 最大 | 标准差 |
|---|---|---|---|---|---|
| MTP/2 | 关 | 50.8 | 49.4 | 51.7 | 0.88 |
| MTP/2 | 开 | 46.1 | 43.7 | 50.4 | 2.41 |
| MTP/3 | 关 | 51.2 | 45.5 | 56.8 | 4.27 |
| MTP/3 | 开 | 45.6 | 42.6 | 49.4 | 2.34 |
差别都在 0.4–0.5 tok/s,比跑与跑之间的离散度小一个量级。MTP/2 与 MTP/3 在工作站上统计上无法区分。
MTP/3 那一组的“思考关”还暴露了一个采样陷阱:六次从 56.8 一路漂到 45.5,前面几次是冷卡的赠品,稳态在 50–51。MTP/2 的 σ 只有 0.88,很快就落到同一个稳态。所以我把配置留在了默认的 MTP/3——不是因为更快,而是因为没有理由改。
预填充没问题
如果功耗墙是唯一原因,预填充也该掉下来。它没有:
| 提示长度 | 首 token 延迟 | 预填充吞吐 |
|---|---|---|
| 74 | 122 ms | ~600 tok/s(开销主导) |
| ~1K | 940 ms | 1,244 tok/s |
| ~4K | 2.3 s | 1,978 tok/s |
| ~16K | 13.2 s | 1,354 tok/s |
分支文档给这个模型的预填充参考是 1,409–1,653 tok/s,我们在 4K 上是 1,978,超过了它。这正好反证了前面的解释:预填充对“每步多算几个 token”没那么敏感,也就不那么依赖功耗余量。
它没有证明什么
这组数字不能说明 2080 Ti 不适合本地推理,也不能说明 MTP 没用——它只说明在 180W、这个驱动、这个分支上,一个 27B 的 FP8 模型能稳定给出 46 tok/s、256K 上下文、21GB 级显存占用,能跑工具调用。
它也不能直接和“48GB 统一内存的 Mac”或“一张 3090”比较,因为上下文长度、量化方式、功耗上限都不一样。要看对比,得先把这三个变量钉住。
最有用的结论其实很小:报 tok/s 的时候,必须同时报功耗上限和上下文长度,否则这个数字只描述了一个不受约束的理想情况。
方法 / 数据来自工作站 vllm-2080ti/RESULTS.md 的实测记录:流式请求、用首 token 时间分离 TTFT 与解码、固定 prompt 与输出长度、每项至少五轮取中位数并记 min/max/stdev、每次配置变更后丢弃一次 warmup。完整配置表见站点 本地推理 页。