Strata / 本地推理
老显卡上的多 GPU。
上游:Niko1221/Strata 。Strata 让大模型跑在消费级硬件上。我的贡献是一系列 benchmark 报告和文档笔记,机器是双路 Xeon E5-2696 v4 上的两张 RTX 2080 Ti 22 GB。
- 重点
- 层切分 vs 单卡、--batch、vLLM
- 硬件
- 2× 2080 Ti 22 GB · 双路 Xeon
- 形式
- 5 个上游 PR
- 数据
- 原始请求、配置、并发
层切分 vs 单卡,UD-IQ4_XS:decode 40.8 → 60.4 tok/s(+48%);32K 全新 prompt 768 → 1,269 tok/s(+65%)。