shanselman GitHub avatar

gputaskman

Python
GPU 任务管理器shanselman最近推送 2026年11月18日
模型推理与部署MIT3,48517213 issues7 天 +1,798

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

终端里的 GPU 任务管理器,按进程查看显存占用和 GPU 活动。

gputaskman 是一个终端 UI 工具,定位类似 GPU 版的 htop。它不只显示 GPU 总占用,还尝试把显存占用对应到具体进程、加载的运行时、模型文件和 LLM 的权重/KV 缓存等缓冲区。支持 Windows(NVIDIA/AMD,Intel 走 WDDM 活动计数)、Linux/WSL 和 macOS Apple Silicon。

推荐指数

4.0

想弄清显存被谁吃掉、LLM 缓存占多少的开发者值得一试,但项目仍处早期实验阶段。

近 7 天

+1,798

新增 Star

总 Star 排名

#1600

雷达追踪的 3,931 个 AI 仓库中

创建于

2026

2026年11月3日

核心亮点

  • 1按进程看显存

    把每块显存占用关联到具体进程,而不只给一个总量。

  • 2LLM 缓存拆解

    尝试区分模型权重、KV 缓存和计算缓冲区各占多少。

  • 3多平台支持

    覆盖 Windows、Linux、WSL 和 macOS Apple Silicon。

  • 4多种安装方式

    PyPI、pipx、便携 ZIP 和源码运行都可选。

  • 5可脚本化输出

    支持 --once 单次输出和 --json 结构化输出。

适用场景

  • 排查显存占用

    例如:任务管理器显示 15GB 已用,用它找出是浏览器、桌面合成器还是推理进程占的。

  • LLM 推理调优

    例如:观察某个模型加载后权重和 KV 缓存各占多少显存。

  • 多 GPU 环境巡检

    例如:在 Linux 服务器上快速查看各进程的 GPU 活动和显存分布。

它是怎么工作的

  1. 第 1 步

    采集设备指标

    通过 NVML、AMD ADL、WDDM 等驱动接口读取 GPU 计数器和每进程显存。

  2. 第 2 步

    关联进程信息

    把显存和引擎活动对应到进程,并识别加载的运行时和模型文件。

  3. 第 3 步

    估算模型构成

    结合 GGUF 等信息估算权重、KV 缓存等缓冲区大小。

  4. 第 4 步

    终端展示

    在终端 UI 中实时刷新,也可单次或 JSON 输出。

快速上手

  1. 1

    用 uv 安装

    从 PyPI 安装并直接运行,无需克隆仓库。

    uv tool install gputaskman
    gputaskman
  2. 2

    用 pipx 安装

    另一种隔离安装方式,命令更短可用 gtm。

    pipx install gputaskman
    gputaskman
  3. 3

    源码运行

    克隆后用 uv 按锁定依赖运行,首次需联网。

    git clone https://github.com/shanselman/gputaskman.git
    cd gputaskman
    uv run --locked gputaskman
  4. 4

    便携版

    Windows 用户可下载 ZIP 解压后直接运行 exe。

    .\gputaskman.exe --once

适合谁

  • 需要排查显存占用的开发者
  • 跑本地 LLM 推理或微调的用户
  • 使用 NVIDIA/AMD GPU 的 Windows 或 Linux 用户

不太适合

  • 只用 CPU 或 NPU 的用户
  • 需要云端 GPU 监控的场景
  • 期待精确显存转储或游戏纹理分析的人

成熟度

  • 活跃度创建不到一个月已有 3400+ star,最近一次推送在 2026-11-16。
  • 文档README 覆盖安装、平台差异和限制,说明较细。
  • 社区star 和 fork 数不少,但开放 issue 仅 13 个,社区规模尚早。
  • 上手难度PyPI 一键安装,另有便携版,无需 CUDA Toolkit。

同类项目怎么选

  • nvidia-smi只给设备和进程级显存/利用率,不识别模型和 LLM 缓存构成。
  • nvtop面向 Linux 的 GPU 监控 TUI,侧重利用率曲线,不做模型级拆解。

使用前注意

  • · 项目自述为早期实验性软件,分类和 GGUF 拆解是估算值。
  • · 各平台可测指标不同,AMD/Intel 的温度、功耗等可能缺失。
  • · Windows 便携版未签名,运行前需自行校验。
  • · 仅覆盖本地 GPU 工作负载,不含 CPU、NPU 和云端。