AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
计算任意 LLM 在指定 GPU/CPU 上所需显存和可达 token/s 的网页工具。
这是一个用 JavaScript 编写的网页工具,用于估算运行或微调 LLM 所需的 GPU 内存以及推理速度(token/s)。支持 llama.cpp/ggml、bitsandbytes、QLoRA 等量化方式,并给出内存占用明细和训练时间估算。
推荐指数
实用且轻量的估算工具,适合快速判断硬件可行性,结果误差约 500MB 内。
近 7 天
+2
新增 Star
总 Star 排名
#2835
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年9月12日
核心亮点
1显存估算
计算总显存并拆分为模型大小、KV 缓存、激活内存、优化器内存和 CUDA 开销。
2速度预测
估算 token/s、每 token 毫秒数、提示处理时间,并判断是内存还是计算瓶颈。
3量化支持
支持 GGML、bitsandbytes、QLoRA 等量化方式对内存和速度的影响。
4训练时间
估算微调时每次迭代(前向+反向)的毫秒数,帮助判断训练可行性。
5网页即用
无需安装,直接访问网页即可使用,输入模型和硬件参数得到结果。
适用场景
硬件选型
例如:想在 RTX 4090 上运行 Llama-2-7B,先估算需要多少显存和能到多少 token/s。
量化方案对比
例如:比较 Q4 和 Q8 量化下同一模型在相同 GPU 上的显存占用和速度差异。
微调可行性
例如:判断 24GB 显存能否用 QLoRA 微调 7B 模型,以及大致训练时间。
上下文长度规划
例如:估算在给定 GPU 上最大可支持的上下文长度和 batch size。
它是怎么工作的
第 1 步
输入参数
在网页中选择或输入模型规模、量化方式、GPU/CPU 型号、序列长度等。
第 2 步
内存分解计算
按公式计算模型大小、KV 缓存、激活内存、优化器/梯度内存和 CUDA 开销。
第 3 步
速度与时间估算
基于内存带宽和计算能力估算 token/s 及训练每次迭代时间。
第 4 步
输出结果
展示总显存及明细、token/s、瓶颈类型等 JSON 格式结果。
快速上手
- 1
打开网页
访问 https://rahulschand.github.io/gpu_poor/ 直接使用。
- 2
选择模型与硬件
在页面中选择模型规模、量化方式和你的 GPU 型号。
- 3
查看结果
阅读显存明细和 token/s 估算,调整参数对比不同配置。
适合谁
- 想本地运行 LLM 但不确定硬件是否够用的开发者
- 需要选择量化方案或微调策略的实践者
- 做硬件采购或资源规划的技术人员
不太适合
- 需要精确性能基准而非估算的用户
- 不熟悉 LLM 基本概念(如量化、KV 缓存)的初学者
成熟度
- 活跃度最近更新于 2024-12,有 9 个开放 issue,维护频率中等。
- 文档README 详细说明了计算原理、用例和 FAQ,配有截图。
- 社区1405 star、88 fork,有一定关注度但讨论不活跃。
- 上手难度纯网页工具,无需安装,输入参数即可得结果。
使用前注意
- · 结果为估算值,实际性能受 CUDA 版本、驱动、模型实现等因素影响,误差约 500MB。
- · 仓库未声明许可证,使用或分发前需确认授权。
- · 不支持 AWQ 量化(TODO 中提及),vLLM 的 token/s 支持也尚未完成。
