01 / 模型
要先装下什么。
视频模型先是一个显存问题,然后才是速度问题。量化让每卡 22 GB 变得够用。
| 项目 | 取值 |
|---|---|
| 参数量 / 块数 | 20.11 B · 50 blocks |
| 隐藏层 / 注意力 | 5,376 · 56 heads × 128 |
| FFN | 14,336 |
| qkv / out 投影 | [21504, 5376] / [5376, 7168] |
| fc1 / fc2 | [28672, 5376] / [5376, 14336] |
| 量化 | W4A8 · int4(2 个/字节)· group 16 · ConvRot 256 · fp8 group scale · fp32 channel scale |
| 磁盘上的 DiT | 10.96 GiB(fl2va 11.68 GiB) |
| VAE | 16× 空间压缩 · patch (1,2,2) |
| 运行时 | ComfyUI · PyTorch 2.9.1+cu130 · 驱动 580 · CUDA 13.0 |
02 / 吞吐
单卡 vs TP2。
冒烟采样:640×352 × 124 frames × 4 steps,纯文生视频,无参考图。两列用的是同一个工作流。
| 指标 | 单卡 | TP2 |
|---|---|---|
| 每步 | ~51 s | ~14 s |
| 端到端(4 steps) | 243 s | 82 s |
| 加速比 | 1.00× | 2.97× |
| GPU 占用率 | GPU0 空闲 / GPU1 97% | GPU0 57% / GPU1 72% |
| 峰值显存 | GPU1 19,071 MiB | GPU0 11,579 / GPU1 19,681 MiB |
| 峰值温度 | GPU1 78 °C(97%,持续 4 min) | GPU0 67 °C / GPU1 75 °C(1.4 min) |
另测864×480 下(124 frames,ref2va):单卡 44.6 s/step,TP2 19.8 s/step —— 2.25×。
03 / 三个版本
1.31×,然后 2.25×,然后 2.97×。
第一版的分片就是对的。缺的是一条线程,不是一次切分。
| 版本 | s/step (864×480) | 加速比 | 改了什么 |
|---|---|---|---|
| 单卡 | 44.6 | 1.00× | 在单卡上分块 |
| TP2 v1 | 34.0 | 1.31× | 列/行切分,只用一个启动线程 |
| TP2 + 每个 rank 一条线程 | 19.8 | 2.25× | 每个 rank 启动自己的 kernel |
原因W4A8 GEMM 会阻塞调用它的宿主线程,所以一个启动线程把两张卡串行化了:实测重叠只有 5%。每个 rank 一条线程后升到 91%,输出逐位一致(帧 MAE 0.0000)。
04 / 探针
三行诊断。
两张 GPU,一个 GEMM,三种启动策略。重叠率就是区分「切开了」和「真并行了」的那个数。
| 测试 | dev0 | dev1 | 并发 | 重叠 |
|---|---|---|---|---|
| dense fp16 GEMM | 61.9 | 58.0 | 61.0 | 95% |
| W4A8 GEMM | 103.3 | 96.8 | 194.7 | 5% |
| W4A8 GEMM,每卡一条线程 | 106.5 | 97.1 | 106.8 | 91% |
修好之后每 block:qkv + attention 211 ms,MLP 196 ms,最后的 all-reduce 13 ms —— 每 block 420 ms。
05 / 复现
启动双卡服务。
设备顺序很关键:只暴露一张卡,图里所有 cuda:0 会悄悄塌到那张卡上。
export CUDA_VISIBLE_DEVICES=1,0 # GPU1 在前,这样 cuda:0 才是计算卡
python main.py --listen 127.0.0.1 --port <port> --reserve-vram 1.5 --vram-headroom 0.5 --disable-pinned-memory --fast-disk
python scripts/bench.py examples/smoke_t2v.json smoke # 自带样例
06 / 注意事项
这个加速比不是什么。
2.97× 来自工作站上的真实渲染,而且只对一种量化、一个模型和一对卡成立。
01
不是通用的 TP 结论
这些数字来自两张改造过的 22 GB Turing 卡、250 W 上限下的 W4A8。换卡、换量化或换模型形状,重叠率都会不同。
02
NUMA 也算在里面
两张卡位于不同的 NUMA 节点。那 13 ms 的 all-reduce 有一部分是在为这个拓扑付账;换块主板就会变。
03
权重不在这里
代码是 MIT,模型权重不在仓库里,遵循 MiniMax 自己的许可。样例是一个自包含的文生视频用例。