桌子下面工作站有两张 RTX 2080 Ti,合计 44GB 显存,还有一张让我想关门的电费单。它是用旧零件拼的,比正常对话还吵。但它改变了我对本地 AI 的理解,超过任何一张 benchmark 图。

第一课在第一个模型加载之前就来了:22 加 22,不等于 44,至少不等于任何有意义的那种 44。

算术的假象

两张卡给你 44GB 总显存,但它们不是一张 44GB 的卡。这个区别不是抠字眼。它决定了哪些模型能舒服地跑,哪些只能慢慢跑,哪些会让你在凌晨一点盯着 CUDA out of memory。

一个能放进单卡的模型,完全避开了卡间通信。一个跨两张卡切分的模型,每一个跨过切分点的 layer 边界都要协调。工作站有 NVLink——NV2,两条绑定链路,各 25.78 GB/s——所以协调不走 PCIe。但线路快不等于免费:每个 block 的 allreduce 仍然是 13 ms,两张卡还分属不同的 NUMA 节点,发起 kernel 的 host 线程有时比链路更贵。第二张卡不是免费内存,它是需要调度才能用上的内存。

显存是预算,不是一个数字。上下文、KV cache、激活值和框架本身都要占一行。

所以“44GB 能装下吗”很少是正确的问题。正确的问题是:在我真正需要的上下文长度下,能跑的最大模型是什么?速度还够用吗?留出的余量能扛住下一次驱动更新吗?

到底能跑什么

下面是我用的粗略地图。数字是 4-bit 推理的权重大小,不含 KV cache、框架、视觉塔,也不含碎片化。把它当起点,不是保证。

模型规模4-bit 权重放在哪现实
7B–8B约 4–5GB单卡舒服。还能留出长上下文和 batch。
13B–14B约 7–9GB单卡舒服。22GB 不是问题。
27B–32B约 16–20GB单卡,紧中等上下文能跑;KV cache 决定结果。
70B约 35–40GB两张卡短上下文纸面能跑,很慢,不是日常主力。

7B 是甜点。量化后的 7B/8B 能留下几 GB 给上下文和 batch,速度可用,失败一次的成本是几分钟而不是一个下午。14B 在 22GB 卡上很舒服。32B 单卡紧、双卡有余量。70B 是演示,不是日常。

这也是“本地模型是便宜版 GPT”这个说法失败的原因。7B 不是更差的前沿模型,它是另一种仪器:私密、可预测、永远在线,在一条窄任务带上表现不错。用它跑那条带。

Turing 的边界

2080 Ti 是 Turing,不是 Ampere。这有实际后果:没有 BF16,现代训练配方需要翻译;很多推理 kernel 为 Ampere 或更新架构优化,Turing 能用,但不总是快路径。Flash attention、量化 kernel、融合算子,都要对着实际卡验证,而不是对着 README。

显存带宽仍然不错——每张约 616 GB/s——FP16 tensor core 也在。推理,尤其是量化推理,远没有到不能用。微调就不同了:没有 BF16,加上 22GB 的单卡上限,每次实验都变成仔细的会计。小 LoRA 可以,全量微调不是工作站的重点。

还有不性感的物理问题:两张 250W 的卡(我把上限压在 180W)、双路 Xeon 和机械硬盘会发热、会吵,会让房间明显比别处暖。它是一台偶尔回答问题的暖气。

瓶颈会移动

短上下文时,瓶颈常常是 decode:一次生成一个 token,受显存带宽限制,2080 Ti 的带宽就是天花板。长上下文时,prefill 和 KV cache 变成主角。一个 4k 上下文下很快的模型,32k 时可能像换了台机器,尽管权重没变。

所以只报告一个 tokens/s 的本地推理 benchmark,对产品决策基本没用。你需要的是“在我的上下文长度、我的 batch、我的真实 prompt 分布下”的 tokens/s。其他都是感觉。

该测什么

首 token 延迟、4k / 16k / 32k 的 decode 速度、峰值显存,以及机器开始 swap 的那个点。一个只在空 prompt 上快的本地模型是 demo,不是工具。

还有第二个更安静的瓶颈:人。一个要 90 秒才回答的本地模型会改变工作节奏。你不再问小问题,开始攒问题,开始写更好的 prompt,因为反馈回路很贵。这个约束可能是特性——但前提是你围着它设计,而不是假装它不存在。

路由也是设计

工作站教给我最有用的,不是怎么在本地跑大模型,而是如何在本地和云端之间路由,且两边都不带浪漫。

工作放哪里为什么
私密笔记、草稿、embedding本地数据不出桌;量大也便宜。
分类、抽取、过滤本地小模型够用,迭代快。
困难推理、模糊设计云端前沿能力仍然是前沿。
长上下文研究云端KV cache 和上下文窗口不是公平竞争。
图像与运动生成云端 / 租消费级显存的形状不对。

规则很无聊:私密、量大、定义清楚的工作先本地;模糊推理、大上下文、视觉生成上云。有意思的是边界,每个项目都会把它移动一点。

它是仪器,不是机房

我不再试图把工作站变成一朵小云。它不是。它是一台仪器,用来问那些需要数据留在家里、需要一百次便宜迭代、或者单纯想听见风扇转起来的问题。

这个框架让约束变得有用。显存有限,逼你做量化和 batch 纪律;decode 慢,逼你把 prompt 和范围收紧;一张卡只有 22GB,逼你选择尊重切分的模型。机器不是对野心的限制,是一组恰好听得见的设计约束。

最好的本地配置不是能跑最大模型的那套,而是能让下一次实验便宜到值得尝试的那套。

一份清单

  • 钉住软件栈。 驱动、CUDA、PyTorch、推理服务器版本写进笔记。“上周还能跑”不是复现策略。
  • 按真实上下文测。 记录 4k、16k、32k 的首 token 延迟、decode 速度和峰值显存。
  • 留余量。 如果模型占了 44GB 里的 43.5GB,它就没装下。下一次 prompt 会找到边缘。
  • 保留模型卡片。 量化方式、chat template、上下文上限、它真正擅长的任务。
  • 实验和服务分开。 Jupyter notebook 和 systemd unit 的故障模式不一样。
  • 不要把密钥放进机器。 本地不等于安全。环境文件、key、token 需要和服务器一样的纪律。

44GB 的问题没有干净解。它只有一组工作 trade-off、几个真正值得留下的模型,以及每天提醒你:能力总是被运行它的机器塑造。那不是限制,那是设计 brief。

硬件 / 2 × RTX 2080 Ti(每张 22GB,NVLink NV2 双链路,2 × 25.78 GB/s)、94GB DDR4、双路 Xeon E5-2696 v4(44C / 88T)、Ubuntu 24.04.5 LTS。数字是 4-bit 推理的权重大小估算,不含 KV cache、激活值和框架开销。这里不声称任何 tokens/s;请测自己的工作负载。