Norwin YuAI 使用研究
EN AI 使用研究

本地 / 文本栈

27B、256K、180 W。

工作站文本模型的参考页:完整的服务配置、它实际跑出的吞吐,以及一个能解释它与文档数字差距的数。

Qwen3.8-27B-FP8262,144 tokensTP=2 · MTP/3实测 / 2026 年 11 月

01 / 配置

实际生效的服务配置。

这不是建议配置:这些数字就是用这套配置跑出来的,驱动也是工作站今天启动时加载的那版。

文本推理服务配置
设置取值
模型Qwen3.8-27B-FP8 · W8A16(FP8 权重,FP16 激活)
量化fp8 e4m3 · 权重块 128×128 · 动态激活
KV cacheFP8 · 常驻 276,788 tokens
上下文262,144 tokens(256K)
并行TP=2 × PP=1 · 2 个 rank 跑在 2 张卡上
投机解码MTP / 3 个 draft token
Attention / 线性注意力FLASHINFER · FlashQLA 旧版 prefill(SM75)· Triton GDN 解码回退
CUDA graphsPIECEWISE · 捕获大小 4
前缀缓存已启用
序列 / tokenmax_num_seqs 1 · 批处理 token 2,048
GPU 显存占用0.94 —— 桌面占用了 GPU0 上约 740 MiB
功耗上限每卡 180 W(默认 250 W,最高 280 W)
软件栈vLLM 0.29.1rc0 SM75 分支 · PyTorch 2.13+cu130 · Triton 3.7.1 · CUDA 13.0.88 · 驱动 580.178.04
OSUbuntu 24.04.5 LTS · 内核 7.0.0-43

02 / 吞吐

解码、prefill,以及思考的代价。

流式请求,TTFT 与 decode 分开计,提示和输出长度固定,取三次以上运行的中位数,预热丢掉。

解码吞吐
解码测试第 1 次第 2 次第 3 次中位数
开思考 · 512 tokens47.545.946.146.1 tok/s
关思考 · 512 tokens52.152.951.152.1 tok/s
prefill 延迟与吞吐
提示 tokensTTFTPrefill 吞吐
74122 ms~600 tok/s(开销主导)
1,170940 ms1,244 tok/s
4,5002,275 ms1,978 tok/s
17,83013,167 ms1,354 tok/s

03 / 消融

MTP/2 vs MTP/3。

同一功耗上限下,每格六次运行。差异比运行之间的抖动还小 —— 这本身就是结果。

MTP draft token 消融
draft token思考中位数最小最大标准差
MTP/2关50.849.451.70.88
MTP/2开46.143.750.42.41
MTP/3关51.245.556.84.27
MTP/3开45.642.649.42.34

怎么读MTP/2 和 MTP/3 在这里统计上分不出来。配置留在 MTP/3,是因为没有测出来的理由去改它,不是因为它更快。

04 / 功耗

两张卡都顶在上限。

180 W 是刻意定的,它也是实测 decode 与分支公布数字之间差距里最大的一项。

负载下的功耗与频率
GPU峰值功耗平均功耗上限最高 SM 频率占用率
0182 W178 W180 W1,845 MHz100%
1179 W175 W180 W1,830 MHz100%

注意占用率是 100%,频率却卡在上限:这是功耗预算,不是散热预算。把上限提到 250 W,decode 会涨,室温也会涨。

05 / 复现

把它重新拉起来。

模型卷是一个不会自动挂载的 NTFS 分区。两条命令,然后起服务。

udisksctl mount -b /dev/nvme0n1p4     # 模型卷,不会自动挂载
cd ~/vllm-2080ti && ./llm.sh start    # 后台 vLLM 服务,仅监听回环
./llm.sh status                       # 服务、模型和 GPU 概览
./llm.sh bench                        # 吞吐基准测试
./llm.sh stop                         # 停止模型,不关机

06 / 注意事项

这些数字的前提。

这一页每个数字都依赖三件事:功耗上限、驱动和上下文长度。

01

一个上限,一个驱动

每卡 180 W,驱动 580.178.04。改动任意一项,decode 数字就会动;prefill 几乎不动。

02

256K 不是免费的

KV cache 存 276,788 tokens,所以跑满 256K 上下文时并发约为 1.06×。这里的长上下文,意味着一次只能一个请求。

03

一台机器

这些数字来自二手双路 Xeon 配 SM75 卡。可以用来决定工作站跑什么,不适合拿去和数据中心比。