MiniMax H3 是一个 20.11B 的视频加音频联合流式 Transformer:50 个 block,hidden 5376,FFN 14336。W4A8 量化之后,DiT 权重在磁盘上占 10.96 GiB,放进一张 22GB 的卡里是够的。跑起来也确实能出片子。
问题是:另一张卡在旁边闲着。它是一个 2U 的风扇,在吹空气。
装得下,但没用上
单卡跑 640×352 × 124 帧 × 4 步的 smoke 样本,每步约 51 秒,一条 4 步的片段 243 秒。GPU1 利用率 97%,峰值显存 19.1GB,温度在 78 度上待了四分钟。这不是不能跑,是不能这样跑一个下午。
所以目标很朴素:让第二张卡进循环。不是把它当更大的显存池——这个模型本来就装得下——而是让它分担计算,顺便把单卡的高温时间压下来。
切分本身没有错
TP2 的切法是标准做法:qkv、out、fc1 按列切,fc2 按行切,每个 block 结尾做一次对称 allreduce。两张卡各有完整的 25 个 block 的输入输出形状,只是每个矩阵的一半。
跑出来是 1.31×。切分逻辑正确,数值也对,但 GPU 有一半时间在空转。这不像通信开销——allreduce 只有 13 ms/block,占 420 ms 的 3%——更像两张卡在轮流工作。
阻塞点不在链路
仓库里的 probes/ 就是为这个问题写的:把同一个 GEMM 分别放在两张卡上、并发跑、再换成一卡一线程,记录两者的时间重叠比例。重叠 95% 说明两张卡同时在算;重叠 5% 说明它们只是排了个队。
| 测试 | dev0 | dev1 | 并发耗时 | 重叠 |
|---|---|---|---|---|
| dense fp16 GEMM | 61.9 | 58.0 | 61.0 | 95% |
| W4A8 GEMM | 103.3 | 96.8 | 194.7 | 5% |
| W4A8 GEMM,一卡一线程 | 106.5 | 97.1 | 106.8 | 91% |
看第二行:两张卡各自的 GEMM 大约 100 个单位,并发跑却要 194.7——正好是相加。它们没有并行,只是串行执行了两遍。
原因不在 NVLink,也不在 CUDA 的流调度,而在 comfy-kitchen 的 W4A8 GEMM 实现:它调用 kernel 之后会阻塞调用它的 host 线程,直到 kernel 结束。整个 forward 只有一个 host 线程,于是第一个 GEMM 阻塞住线程,第二个 rank 的 kernel 只能排队。dense fp16 那条路径不阻塞,所以它能拿到 95% 的重叠——同一套切分,两种结果。
一卡一线程
修法只有几行:给每个 rank 一个独立的 host 线程(tp2.py 里的 _par),让两张卡的 kernel 由两个线程分别发起。重叠从 5% 变成 91%,并发耗时从 194.7 降到 106.8——接近单卡时间,也就是真正在并行。
这是纯调度改动,不碰数值:输出逐比特一致,帧 MAE 0.0000。这一点很重要——它说明 2.97× 不是“少算了一些东西”换来的。
结果
| 指标 | 单卡 | TP2 |
|---|---|---|
| 每步耗时 | ~51 s | ~14 s |
| 4 步片段端到端 | 243 s | 82 s |
| 加速比 | 1× | 2.97× |
| GPU 利用率 | GPU0 闲置 / GPU1 97% | 57% / 72% |
| 显存峰值 | 19.1 GB | 11.6 + 19.7 GB |
| 高温时长 | 78 度 · 4 分钟 | 75 度 · 1.4 分钟 |
成片分辨率(864×480,ref2va)上的曲线是同一件事的另一个刻度:单卡 44.6 s/step,第一版 TP2 34.0 s(1.31×),一卡一线程之后 19.8 s(2.25×)。修好的 block 里,qkv 加注意力 211 ms、MLP 196 ms、allreduce 13 ms,合计 420 ms/block。
不要用端到端加速比判断并行是否成功。先测重叠:两张卡的 kernel 真的在同时跑,还是只是交替跑。端到端 1.31× 可以来自很多原因,重叠 5% 只有一个原因。
这条经验能搬走吗
能,但要限定范围。这里成立的前提是:并行度由 host 侧发起调用的方式决定,而不只由切分方式决定。任何“同步、阻塞调用者”的 kernel 或库,放进单线程的 forward 里,都会把并行变成排队。dense fp16 与 W4A8 的对照,就是同一份模型、同一套切分、只换 kernel 实现的结果。
搬不走的部分也要写清楚:这些数字来自一台机器、两张 22GB 的 2080 Ti、250W 上限、驱动 580 系列、CUDA 13.0,固定种子 42。它不证明别的卡或别的模型也会得到 2.97×。另外,两张卡分属不同的 NUMA 节点,allreduce 的 13 ms 里有一半是拓扑的账,换一块双路主板就会变。
真正值得留下的,是那个诊断顺序:先确认切分正确(数值一致),再确认 kernel 真的在并发(重叠比例),最后才优化通信。反过来做,会花很多时间调一个不存在的带宽问题。
方法 / 数据来自 NorwinYu/minimax-h3-dual-2080ti 仓库的 docs/PERFORMANCE.md 与 probes/,数字是在工作站实际渲染中测的,不是估算。代码 MIT;模型权重不随仓库分发,遵循 MiniMax 自己的许可。重叠比例的测量口径见 docs/ARCHITECTURE.md。