工作站有 88 个线程、两张 22GB 的卡、七个硬盘分区。它跑推理、跑 ComfyUI、跑编译,噪音和热量都很大。我需要一块仪表盘:一眼看到每个核在干什么、两张卡现在多少度、功耗是撞了 180W 的墙还是没撞。

现成的答案是把 nvidia-smi、sensors、free、iostat 拼起来。我试过,拼出来的东西有两个问题:慢,和说谎。

为什么不调子进程

慢是量出来的:nvidia-smi 一次调用大约一百毫秒,sensors 在一台双路 Xeon 上要一百到三百毫秒的 CPU。以一个 1 秒刷新、六个视图的仪表盘来说,这意味着监控自己就吃掉了一个核的很大一块——为了知道机器在忙什么,先让机器忙起来。

说谎的部分更隐蔽:不同工具对“已用内存”的定义不同,时间点也不同。把它们并排画在一起,看起来整齐,实际是四个采样时刻的拼贴。

所以 sensorium 定了一条硬规则:不 fork 任何子进程。CPU 和内存读 /proc,温度、风扇、电压、功耗读 /sys/class/hwmon,GPU 走 NVML 的进程内绑定。一次采样是一条时间线,不是一个拼图。

数据从哪来

六个视图对应六类数据源:

视图数据来源内容
OverviewCPU + 内存 + GPU 摘要load、双路封装温度、显存、功耗、趋势曲线
CPU/proc/stat、/sys/devices/system/cpu、RAPL88 线程活动矩阵、每核频率与温度、上下文切换与中断
GPUNVML(进程内)SM/显存/编解码利用率、显存与历史、温度阈值、风扇、功耗与上限、PCIe 代数与宽度、降频原因、显存里的进程
Sensors/sys/class/hwmon 全量枚举温度、风扇转速、电压、电流、功率,带临界值与告警位
Storage & Net/proc/diskstats、/proc/net/dev吞吐、IOPS、挂载点容量、网卡速率
Processes/proc/<pid>Top 进程、CPU%、RSS、命令行(可匿名化)

NVML 里有个坑值得单说:身份信息和曲线不是同一个刷新频率。型号、BIOS、序列号、功耗上限、温度阈值这些字段一辈子不变,却和利用率一样每次都要过一遍 C 库。第一版把所有字段都每帧读一遍,GPU 采样要 97 毫秒。

分层采样

改法很朴素——按“多久会变”分组:

数据刷新频率理由
型号 / BIOS / 序列号 / 上限 / 阈值只读一次并缓存硬件属性,不会变
利用率 / 显存 / 温度 / 风扇 / 功耗每帧曲线需要
频率 / Power Limit / PCIe / 编解码每 2 帧变化慢
时钟 / P-State / 降频原因每 4 帧状态机级别的变化
能耗计数器每 30 帧单次读取本身很贵

结果:GPU 采样从约 97 毫秒降到约 15 毫秒,画面上的数字没有区别。

同样的思路用在了传感器和进程表上。传感器的标签与临界值只读一次,十秒重扫一次以支持热插拔,每帧只读 *_input;每核温度每次都是一条跨核 MSR 读,44 核上很贵,所以两帧刷一次。进程表遍历一千个 /proc/<pid>/stat 要二三十毫秒,于是三秒采一次——顺带让每进程 CPU% 更准。

一条经验

监控工具的开销几乎总能靠“哪些数据真的每帧都在变”这个问题砍掉一个数量级。先分组,再谈优化。

自己画

渲染也走同一条路:不重排整棵树,直接写 ratatui 的 Buffer。一帧 120×40 的全量重绘是 0.2–0.35 毫秒——比读一次 nvidia-smi 便宜三个数量级。这也是为什么这个工具能挂在 1 秒刷新上而几乎不被注意到。

成本

实测,release 构建,采样时机器本身有负载(load ≈ 2.5,GPU 上有任务):

视图占单核单帧渲染
Overview3.5 – 5.0%0.34 ms
Sensors3.9 – 5.1%0.31 ms
Storage & Net4.0 – 5.0%0.25 ms
GPU4.1 – 5.3%0.26 ms
CPU4.5 – 6.4%0.31 ms
Processes4.7 – 6.1%0.21 ms

换成整机的比例是 0.05%–0.07%,常驻内存约 24 MiB,二进制 1.2 MB(strip + LTO)。工作站有 88 个线程,所以“一个核的 4%”听上去比“整机的 0.06%”吓人——两种口径都写出来,是因为它们回答的是不同的问题。

准确性怎么验

一个监控工具最危险的失败不是崩溃,是安静地显示错的数字。所以它带 --json,可以把一次采样原样导出,和独立计算结果逐字段对拍:

  • 内存各字段逐字节相同;
  • CPU 总体占用与独立统计差 0.14%;
  • 网络吞吐在一次窗口错位的对比里差 2%(891 MiB/s vs 独立统计),而用自己构造的 8 MiB/s 恒定环路流时,读数正好是 8.00 MiB/s;
  • 只有 --bench 会把“稳态”和“首次采样”(NVML 初始化、首次全量传感器扫描、首次 /proc 遍历)分开报告——否则一次性开销会摊进平均值,看起来很漂亮。

还有一条更重要的原则:读不到就写读不到。多数发行版把 /sys/class/powercap/*/energy_uj 设成 root-only,普通用户拿不到 CPU 封装功耗,它就显示 unavailable (energy_uj needs root),而不是画一条零线。工作站主板没加载 Super-I/O 风扇驱动、也没有 /dev/ipmi0,机箱风扇转速读不到——那就空着。

监控工具的可信度,取决于它在缺少数据时是否安静。

它读不到什么

已知的空白,写在 README 里而不是藏在心里:CPU 封装功耗需要 root;机箱风扇需要 nct6775 之类的驱动;GPU 只支持 NVIDIA(AMD 的 amdgpu 会作为传感器出现,但没有利用率与显存);每核温度只按显示刷新率的一半更新,因为 44 核上每次读取都是跨核 MSR 读。

还有隐私:这个工具会被要求把输出贴进 issue。--demo 会自动开启匿名化——主机名换成 workstation,进程命令行只保留程序名,网卡名去掉内嵌 MAC,GPU 序列号清空,家目录路径换成 /home/user。硬件规格保留,那是用来解释问题的,不是个人信息。

方法 / 所有数字来自 NorwinYu/sensorium 的 README 与 --bench 输出,测试机为双路 Xeon E5-2696 v4(44C/88T)、2 × RTX 2080 Ti 22GB、94GB DDR4,采样时机器带负载。视图截图由 sensorium --frame --demo 的 ANSI 输出离线渲染,可用仓库里的 tools/render-frame.py 复现。