Norwin YuAI 使用研究
EN AI 使用研究

本地 / 2026

工作站环境与配置。

两台机器,两个操作系统。跑模型的是工作站,所以它的数字是量出来的,不是估的:什么塞得下、解码多少 token/s、真正卡住的是哪一道限制。

02 台机器44 GB VRAM94 GB DDR4快照 / 2026 年 11 月

01 / 工作站环境

两台机器,一条工作流。

一台能随身带的工作室,一台二手件攒的工作站。实验在 Mac 上做,模型回到 2080 Ti 双卡上跑。

计算机配置
机器算力内存存储系统角色
MacBook Pro安静的那一半Apple silicon48 GB 统一内存1 TB SSDmacOS设计、写代码和写作;日常随身。
Workstation吵闹的那一半2 × RTX 2080 Ti · 各 22 GB · NVLink NV244 GB VRAM + 94 GB DDR41 TB NVMe + 3 TB HDDUbuntu 24.04.5 LTS本地推理、视频生成,以及热量。
两张卡,一个池子

每张 22 GB,共 44 GB。NVLink NV2 两条链路绑定,25.78 GB/s,所以张量切分不是在付 PCIe 的账。但两张卡挂在不同的 NUMA 节点上,而启动 kernel 的那个 host 线程比链路本身还贵。

天花板在哪

文本解码被功耗限住:两张卡都钉在 180 W、100% 利用率,所以先撞墙的是时钟,不是内存带宽。视频生成则是另一个问题——带宽加同步。

擅长 / 不擅长

擅长:27B FP8 模型跑 256K 上下文,20B 视频 640×352,embedding、分类、小型 LoRA。不擅长:70B 跑可用上下文,256K 下 batch > 1,或者不做分块管线直接出原生 1344×768 视频。

二手件攒的:2 × Xeon E5-2696 v4(44C / 88T)、2 × RTX 2080 Ti 各 22 GB、94 GB DDR4、一块 1 TB NVMe。还是比租便宜。

02 / 文本栈

模型实际解码有多快。

下面这套服务配置就是跑 benchmark 时用的那一套:一个 27B 模型跨两张卡、256K 上下文,跑在机器今天启动时用的驱动上。

本地文本推理配置与实测吞吐
项目数值
运行时vLLM 0.29.1rc0 SM75 fork · PyTorch 2.13 · CUDA 13.0
模型Qwen3.8-27B-FP8 · W8A16(FP8 权重,FP16 激活)· FP8 KV cache
并行TP=2 跨两张卡 · MTP/3 投机解码
上下文262,144 tokens · GPU KV cache 可容纳 276,788
系统Ubuntu 24.04.5 · kernel 7.0.0-43 · driver 580.178.04(open 模块)
功耗上限每卡 180 W(默认 250 W,最高 280 W)
46tok/s 解码 · 开思考
52tok/s 解码 · 关思考
1,978tok/s prefill · 4K
21.5 / 21.1GB VRAM · 256K

说明五次以上运行取中位数,丢掉 warmup,在 180 W 功耗上限下测。fork 自己公布的 ~80 tok/s 是投机接受率很高的合成最好情况;真实 MTP 接受率更低,而且功耗上限会惩罚 MTP——每步要验证多个 draft token,计算本来就更重。

MTP/2 和 MTP/3 在这里统计上没有区别(关思考 50.8 vs 51.2 tok/s;开思考 46.1 vs 45.6)。瓶颈不是 draft 数量,是功耗上限、内存带宽,以及 SM75 解码时必须走的 Triton 回退路径。

03 / 视频栈

22 GB 卡上跑 20B 视频模型。

MiniMax H3 有 20.11B 参数、50 个 block。它塞不进一张卡,所以第二张卡不是备用显存——它必须分担一半工作,否则这一跑只是更慢。

MiniMax H3:单卡与双卡张量并行实测
运行每步片段峰值 VRAM峰值温度
单卡 · 640×352~51 s243 s19.1 GB78 °C 持续 4 min
TP2 · 640×352~14 s82 s11.6 + 19.7 GB75 °C 持续 1.4 min
TP2 · 864×48019.8 s—19.7 GB—

加速比冒烟样本上 2.97×,864×480 成片上 2.25×。两边都对着同一套单卡流程测;数字来自仓库自己的性能日志。

第一次 TP2 只到 1.31×。切分是对的,问题在 host 线程。W4A8 的 GEMM 会阻塞发起它的那个线程,所以只有一个 launch 线程时,两张卡的 GEMM 就串行了——实测重叠 5%。每个 rank 一个 host 线程:91% 重叠,2.25×,输出逐位一致。

04 / 前提与限制

这些数字不是什么。

上面每个数字都来自工作站、这个功耗上限、这个驱动。去掉其中任何一个,数字就会变。

01

一个上限,一个驱动

180 W 是选择,不是硬件极限。提到 250 W 会提高解码速度;上面那些温度正是它得留在 180 W 的原因。

02

不是排行榜

这是二手双路 Xeon 上的单机中位数。用来决定在这里跑什么有用,拿去跟数据中心比没用。

03

被机器自己盯着

撑着这些数字的就是那些 NVML 字段,读它们的是实验清单里的终端监控 sensorium——回路里没有 nvidia-smi 子进程。