RahulSChand GitHub avatar

gpu_poor

JavaScript
大模型显存估算器RahulSChand最近推送 2024年12月4日
模型推理与部署1,406879 issues7 天 +2

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

计算任意 LLM 在指定 GPU/CPU 上所需显存和可达 token/s 的网页工具。

这是一个用 JavaScript 编写的网页工具,用于估算运行或微调 LLM 所需的 GPU 内存以及推理速度(token/s)。支持 llama.cpp/ggml、bitsandbytes、QLoRA 等量化方式,并给出内存占用明细和训练时间估算。

推荐指数

4.0

实用且轻量的估算工具,适合快速判断硬件可行性,结果误差约 500MB 内。

近 7 天

+2

新增 Star

总 Star 排名

#2835

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年9月12日

核心亮点

  • 1显存估算

    计算总显存并拆分为模型大小、KV 缓存、激活内存、优化器内存和 CUDA 开销。

  • 2速度预测

    估算 token/s、每 token 毫秒数、提示处理时间,并判断是内存还是计算瓶颈。

  • 3量化支持

    支持 GGML、bitsandbytes、QLoRA 等量化方式对内存和速度的影响。

  • 4训练时间

    估算微调时每次迭代(前向+反向)的毫秒数,帮助判断训练可行性。

  • 5网页即用

    无需安装,直接访问网页即可使用,输入模型和硬件参数得到结果。

适用场景

  • 硬件选型

    例如:想在 RTX 4090 上运行 Llama-2-7B,先估算需要多少显存和能到多少 token/s。

  • 量化方案对比

    例如:比较 Q4 和 Q8 量化下同一模型在相同 GPU 上的显存占用和速度差异。

  • 微调可行性

    例如:判断 24GB 显存能否用 QLoRA 微调 7B 模型,以及大致训练时间。

  • 上下文长度规划

    例如:估算在给定 GPU 上最大可支持的上下文长度和 batch size。

它是怎么工作的

  1. 第 1 步

    输入参数

    在网页中选择或输入模型规模、量化方式、GPU/CPU 型号、序列长度等。

  2. 第 2 步

    内存分解计算

    按公式计算模型大小、KV 缓存、激活内存、优化器/梯度内存和 CUDA 开销。

  3. 第 3 步

    速度与时间估算

    基于内存带宽和计算能力估算 token/s 及训练每次迭代时间。

  4. 第 4 步

    输出结果

    展示总显存及明细、token/s、瓶颈类型等 JSON 格式结果。

快速上手

  1. 1

    打开网页

    访问 https://rahulschand.github.io/gpu_poor/ 直接使用。

  2. 2

    选择模型与硬件

    在页面中选择模型规模、量化方式和你的 GPU 型号。

  3. 3

    查看结果

    阅读显存明细和 token/s 估算,调整参数对比不同配置。

适合谁

  • 想本地运行 LLM 但不确定硬件是否够用的开发者
  • 需要选择量化方案或微调策略的实践者
  • 做硬件采购或资源规划的技术人员

不太适合

  • 需要精确性能基准而非估算的用户
  • 不熟悉 LLM 基本概念(如量化、KV 缓存)的初学者

成熟度

  • 活跃度最近更新于 2024-12,有 9 个开放 issue,维护频率中等。
  • 文档README 详细说明了计算原理、用例和 FAQ,配有截图。
  • 社区1405 star、88 fork,有一定关注度但讨论不活跃。
  • 上手难度纯网页工具,无需安装,输入参数即可得结果。

使用前注意

  • · 结果为估算值,实际性能受 CUDA 版本、驱动、模型实现等因素影响,误差约 500MB。
  • · 仓库未声明许可证,使用或分发前需确认授权。
  • · 不支持 AWQ 量化(TODO 中提及),vLLM 的 token/s 支持也尚未完成。

主题标签

ggmlhuggingfacellmquantizationgpulanguage-modelpytorchllamallama2llamacpp