01 / 配置
实际生效的服务配置。
这不是建议配置:这些数字就是用这套配置跑出来的,驱动也是工作站今天启动时加载的那版。
| 设置 | 取值 |
|---|---|
| 模型 | Qwen3.8-27B-FP8 · W8A16(FP8 权重,FP16 激活) |
| 量化 | fp8 e4m3 · 权重块 128×128 · 动态激活 |
| KV cache | FP8 · 常驻 276,788 tokens |
| 上下文 | 262,144 tokens(256K) |
| 并行 | TP=2 × PP=1 · 2 个 rank 跑在 2 张卡上 |
| 投机解码 | MTP / 3 个 draft token |
| Attention / 线性注意力 | FLASHINFER · FlashQLA 旧版 prefill(SM75)· Triton GDN 解码回退 |
| CUDA graphs | PIECEWISE · 捕获大小 4 |
| 前缀缓存 | 已启用 |
| 序列 / token | max_num_seqs 1 · 批处理 token 2,048 |
| GPU 显存占用 | 0.94 —— 桌面占用了 GPU0 上约 740 MiB |
| 功耗上限 | 每卡 180 W(默认 250 W,最高 280 W) |
| 软件栈 | vLLM 0.29.1rc0 SM75 分支 · PyTorch 2.13+cu130 · Triton 3.7.1 · CUDA 13.0.88 · 驱动 580.178.04 |
| OS | Ubuntu 24.04.5 LTS · 内核 7.0.0-43 |
02 / 吞吐
解码、prefill,以及思考的代价。
流式请求,TTFT 与 decode 分开计,提示和输出长度固定,取三次以上运行的中位数,预热丢掉。
| 解码测试 | 第 1 次 | 第 2 次 | 第 3 次 | 中位数 |
|---|---|---|---|---|
| 开思考 · 512 tokens | 47.5 | 45.9 | 46.1 | 46.1 tok/s |
| 关思考 · 512 tokens | 52.1 | 52.9 | 51.1 | 52.1 tok/s |
| 提示 tokens | TTFT | Prefill 吞吐 |
|---|---|---|
| 74 | 122 ms | ~600 tok/s(开销主导) |
| 1,170 | 940 ms | 1,244 tok/s |
| 4,500 | 2,275 ms | 1,978 tok/s |
| 17,830 | 13,167 ms | 1,354 tok/s |
03 / 消融
MTP/2 vs MTP/3。
同一功耗上限下,每格六次运行。差异比运行之间的抖动还小 —— 这本身就是结果。
| draft token | 思考 | 中位数 | 最小 | 最大 | 标准差 |
|---|---|---|---|---|---|
| MTP/2 | 关 | 50.8 | 49.4 | 51.7 | 0.88 |
| MTP/2 | 开 | 46.1 | 43.7 | 50.4 | 2.41 |
| MTP/3 | 关 | 51.2 | 45.5 | 56.8 | 4.27 |
| MTP/3 | 开 | 45.6 | 42.6 | 49.4 | 2.34 |
怎么读MTP/2 和 MTP/3 在这里统计上分不出来。配置留在 MTP/3,是因为没有测出来的理由去改它,不是因为它更快。
04 / 功耗
两张卡都顶在上限。
180 W 是刻意定的,它也是实测 decode 与分支公布数字之间差距里最大的一项。
| GPU | 峰值功耗 | 平均功耗 | 上限 | 最高 SM 频率 | 占用率 |
|---|---|---|---|---|---|
| 0 | 182 W | 178 W | 180 W | 1,845 MHz | 100% |
| 1 | 179 W | 175 W | 180 W | 1,830 MHz | 100% |
注意占用率是 100%,频率却卡在上限:这是功耗预算,不是散热预算。把上限提到 250 W,decode 会涨,室温也会涨。
05 / 复现
把它重新拉起来。
模型卷是一个不会自动挂载的 NTFS 分区。两条命令,然后起服务。
udisksctl mount -b /dev/nvme0n1p4 # 模型卷,不会自动挂载
cd ~/vllm-2080ti && ./llm.sh start # 后台 vLLM 服务,仅监听回环
./llm.sh status # 服务、模型和 GPU 概览
./llm.sh bench # 吞吐基准测试
./llm.sh stop # 停止模型,不关机
06 / 注意事项
这些数字的前提。
这一页每个数字都依赖三件事:功耗上限、驱动和上下文长度。
01
一个上限,一个驱动
每卡 180 W,驱动 580.178.04。改动任意一项,decode 数字就会动;prefill 几乎不动。
02
256K 不是免费的
KV cache 存 276,788 tokens,所以跑满 256K 上下文时并发约为 1.06×。这里的长上下文,意味着一次只能一个请求。
03
一台机器
这些数字来自二手双路 Xeon 配 SM75 卡。可以用来决定工作站跑什么,不适合拿去和数据中心比。