本地 / 2026
工作站环境与配置。
两台机器,两个操作系统。跑模型的是工作站,所以它的数字是量出来的,不是估的:什么塞得下、解码多少 token/s、真正卡住的是哪一道限制。
01 / 工作站环境
两台机器,一条工作流。
一台能随身带的工作室,一台二手件攒的工作站。实验在 Mac 上做,模型回到 2080 Ti 双卡上跑。
| 机器 | 算力 | 内存 | 存储 | 系统 | 角色 |
|---|---|---|---|---|---|
| MacBook Pro安静的那一半 | Apple silicon | 48 GB 统一内存 | 1 TB SSD | macOS | 设计、写代码和写作;日常随身。 |
| Workstation吵闹的那一半 | 2 × RTX 2080 Ti · 各 22 GB · NVLink NV2 | 44 GB VRAM + 94 GB DDR4 | 1 TB NVMe + 3 TB HDD | Ubuntu 24.04.5 LTS | 本地推理、视频生成,以及热量。 |
每张 22 GB,共 44 GB。NVLink NV2 两条链路绑定,25.78 GB/s,所以张量切分不是在付 PCIe 的账。但两张卡挂在不同的 NUMA 节点上,而启动 kernel 的那个 host 线程比链路本身还贵。
文本解码被功耗限住:两张卡都钉在 180 W、100% 利用率,所以先撞墙的是时钟,不是内存带宽。视频生成则是另一个问题——带宽加同步。
擅长:27B FP8 模型跑 256K 上下文,20B 视频 640×352,embedding、分类、小型 LoRA。不擅长:70B 跑可用上下文,256K 下 batch > 1,或者不做分块管线直接出原生 1344×768 视频。
二手件攒的:2 × Xeon E5-2696 v4(44C / 88T)、2 × RTX 2080 Ti 各 22 GB、94 GB DDR4、一块 1 TB NVMe。还是比租便宜。
02 / 文本栈
模型实际解码有多快。
下面这套服务配置就是跑 benchmark 时用的那一套:一个 27B 模型跨两张卡、256K 上下文,跑在机器今天启动时用的驱动上。
| 项目 | 数值 |
|---|---|
| 运行时 | vLLM 0.29.1rc0 SM75 fork · PyTorch 2.13 · CUDA 13.0 |
| 模型 | Qwen3.8-27B-FP8 · W8A16(FP8 权重,FP16 激活)· FP8 KV cache |
| 并行 | TP=2 跨两张卡 · MTP/3 投机解码 |
| 上下文 | 262,144 tokens · GPU KV cache 可容纳 276,788 |
| 系统 | Ubuntu 24.04.5 · kernel 7.0.0-43 · driver 580.178.04(open 模块) |
| 功耗上限 | 每卡 180 W(默认 250 W,最高 280 W) |
说明五次以上运行取中位数,丢掉 warmup,在 180 W 功耗上限下测。fork 自己公布的 ~80 tok/s 是投机接受率很高的合成最好情况;真实 MTP 接受率更低,而且功耗上限会惩罚 MTP——每步要验证多个 draft token,计算本来就更重。
MTP/2 和 MTP/3 在这里统计上没有区别(关思考 50.8 vs 51.2 tok/s;开思考 46.1 vs 45.6)。瓶颈不是 draft 数量,是功耗上限、内存带宽,以及 SM75 解码时必须走的 Triton 回退路径。
03 / 视频栈
22 GB 卡上跑 20B 视频模型。
MiniMax H3 有 20.11B 参数、50 个 block。它塞不进一张卡,所以第二张卡不是备用显存——它必须分担一半工作,否则这一跑只是更慢。
| 运行 | 每步 | 片段 | 峰值 VRAM | 峰值温度 |
|---|---|---|---|---|
| 单卡 · 640×352 | ~51 s | 243 s | 19.1 GB | 78 °C 持续 4 min |
| TP2 · 640×352 | ~14 s | 82 s | 11.6 + 19.7 GB | 75 °C 持续 1.4 min |
| TP2 · 864×480 | 19.8 s | — | 19.7 GB | — |
加速比冒烟样本上 2.97×,864×480 成片上 2.25×。两边都对着同一套单卡流程测;数字来自仓库自己的性能日志。
第一次 TP2 只到 1.31×。切分是对的,问题在 host 线程。W4A8 的 GEMM 会阻塞发起它的那个线程,所以只有一个 launch 线程时,两张卡的 GEMM 就串行了——实测重叠 5%。每个 rank 一个 host 线程:91% 重叠,2.25×,输出逐位一致。
04 / 前提与限制
这些数字不是什么。
上面每个数字都来自工作站、这个功耗上限、这个驱动。去掉其中任何一个,数字就会变。
一个上限,一个驱动
180 W 是选择,不是硬件极限。提到 250 W 会提高解码速度;上面那些温度正是它得留在 180 W 的原因。
不是排行榜
这是二手双路 Xeon 上的单机中位数。用来决定在这里跑什么有用,拿去跟数据中心比没用。