Norwin YuAI 使用研究
EN AI 使用研究

开源 / 2026

开源贡献。

对自己在用的工具做小而且具体的回报。大部分是在老硬件上跑 benchmark、写多 GPU 到底什么时候划算的文档,还有一个给 OpenAI 兼容客户端的 API 形状修正。

02 个上游项目08 个上游条目43k+★ / 2.8k+★贡献者,不是维护者

01 / 贡献

测量、文档,还有一个小修正。

我在自己的机器暴露出缺口的地方动手:老显卡、慢 CPU、长上下文,以及需要标准 API 字段的客户端。上游补丁没被合并,报告也照样公开。

Strata / 本地推理

老显卡上的多 GPU。

43k+ ★

上游:Niko1221/Strata 。Strata 让大模型跑在消费级硬件上。我的贡献是一系列 benchmark 报告和文档笔记,机器是双路 Xeon E5-2696 v4 上的两张 RTX 2080 Ti 22 GB。

重点
层切分 vs 单卡、--batch、vLLM
硬件
2× 2080 Ti 22 GB · 双路 Xeon
形式
5 个上游 PR
数据
原始请求、配置、并发
报告结果 / 引擎 0.1.52

层切分 vs 单卡,UD-IQ4_XS:decode 40.8 → 60.4 tok/s(+48%);32K 全新 prompt 768 → 1,269 tok/s(+65%)。

Project Maya / 大型 MoE 推理

模型发现 + 一份 128K 报告。

2.8k+ ★

上游:mw00/project-maya 。Maya 让大型 MoE 模型分布在消费级 GPU 和系统内存上跑。我的贡献是一个服务端 API 字段修正,外加一份在 2080 Ti 双卡上的长上下文速度报告。

特性
context_length + max_output_tokens
接口
GET /v1/models · 客户端发现
报告
Maya-XS · DeepSeek-V4.1-Flash · 128K
硬件
2× 2080 Ti 22 GB · 94 GB DDR4
已进入 main / 535327b

模型列表现在会暴露通用客户端会读的字段名,同时保留原有的 meta.n_ctx 以做兼容。

02 / 方法

我贡献什么。

不是为了刷 commit 数加功能。有用的贡献往往就是那个测量,或者那句少了就让下一个人没法做决定的话。

01

去测那些别扭的机器

老卡、慢 CPU、长上下文。社区需要人们手上真有的硬件跑出来的数字,而不只是干净的 benchmark 机器。

02

把原始数据交回去

报告里有请求、配置、并发数据和脱敏后的设置,别人可以重跑,也可以质疑这个结果。

03

补上接口的缺口

客户端查不到模型的上下文时,最小的有用补丁是那个 API 字段,不是更长的 README。