Norwin YuAI 使用研究
EN AI 使用研究

本地 / 视频栈

20B 装进 2 × 22 GB。

MiniMax H3 是一个 20.11B 的视频与音频 transformer,一张卡装不下。所以张量并行在这里不是加速手段 —— 它是「能跑出结果」和「风扇空转四分钟」之间的区别。

20.11B · 50 blocksW4A8 · 10.96 GiBTP2 · 2.97×实测 / 2026 年 9–11 月

01 / 模型

要先装下什么。

视频模型先是一个显存问题,然后才是速度问题。量化让每卡 22 GB 变得够用。

MiniMax H3 模型参数
项目取值
参数量 / 块数20.11 B · 50 blocks
隐藏层 / 注意力5,376 · 56 heads × 128
FFN14,336
qkv / out 投影[21504, 5376] / [5376, 7168]
fc1 / fc2[28672, 5376] / [5376, 14336]
量化W4A8 · int4(2 个/字节)· group 16 · ConvRot 256 · fp8 group scale · fp32 channel scale
磁盘上的 DiT10.96 GiB(fl2va 11.68 GiB)
VAE16× 空间压缩 · patch (1,2,2)
运行时ComfyUI · PyTorch 2.9.1+cu130 · 驱动 580 · CUDA 13.0

02 / 吞吐

单卡 vs TP2。

冒烟采样:640×352 × 124 frames × 4 steps,纯文生视频,无参考图。两列用的是同一个工作流。

单卡与双卡张量并行对比
指标单卡TP2
每步~51 s~14 s
端到端(4 steps)243 s82 s
加速比1.00×2.97×
GPU 占用率GPU0 空闲 / GPU1 97%GPU0 57% / GPU1 72%
峰值显存GPU1 19,071 MiBGPU0 11,579 / GPU1 19,681 MiB
峰值温度GPU1 78 °C(97%,持续 4 min)GPU0 67 °C / GPU1 75 °C(1.4 min)

另测864×480 下(124 frames,ref2va):单卡 44.6 s/step,TP2 19.8 s/step —— 2.25×。

03 / 三个版本

1.31×,然后 2.25×,然后 2.97×。

第一版的分片就是对的。缺的是一条线程,不是一次切分。

张量并行的三个版本与加速比
版本s/step (864×480)加速比改了什么
单卡44.61.00×在单卡上分块
TP2 v134.01.31×列/行切分,只用一个启动线程
TP2 + 每个 rank 一条线程19.82.25×每个 rank 启动自己的 kernel

原因W4A8 GEMM 会阻塞调用它的宿主线程,所以一个启动线程把两张卡串行化了:实测重叠只有 5%。每个 rank 一条线程后升到 91%,输出逐位一致(帧 MAE 0.0000)。

04 / 探针

三行诊断。

两张 GPU,一个 GEMM,三种启动策略。重叠率就是区分「切开了」和「真并行了」的那个数。

GEMM 重叠率实测
测试dev0dev1并发重叠
dense fp16 GEMM61.958.061.095%
W4A8 GEMM103.396.8194.75%
W4A8 GEMM,每卡一条线程106.597.1106.891%

修好之后每 block:qkv + attention 211 ms,MLP 196 ms,最后的 all-reduce 13 ms —— 每 block 420 ms。

05 / 复现

启动双卡服务。

设备顺序很关键:只暴露一张卡,图里所有 cuda:0 会悄悄塌到那张卡上。

export CUDA_VISIBLE_DEVICES=1,0          # GPU1 在前,这样 cuda:0 才是计算卡
python main.py --listen 127.0.0.1 --port <port> --reserve-vram 1.5 --vram-headroom 0.5     --disable-pinned-memory --fast-disk

python scripts/bench.py examples/smoke_t2v.json smoke   # 自带样例

06 / 注意事项

这个加速比不是什么。

2.97× 来自工作站上的真实渲染,而且只对一种量化、一个模型和一对卡成立。

01

不是通用的 TP 结论

这些数字来自两张改造过的 22 GB Turing 卡、250 W 上限下的 W4A8。换卡、换量化或换模型形状,重叠率都会不同。

02

NUMA 也算在里面

两张卡位于不同的 NUMA 节点。那 13 ms 的 all-reduce 有一部分是在为这个拓扑付账;换块主板就会变。

03

权重不在这里

代码是 MIT,模型权重不在仓库里,遵循 MiniMax 自己的许可。样例是一个自包含的文生视频用例。