AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用 Colab 一键试跑本地小模型,自己判断哪个适合你。
这个仓库原本想用 GPT-4 出题给 7B、13B 小模型打分做横向对比,后来作者认为评分不足以反映实际效果,改为只提供各模型的 Colab WebUI 链接。你点开链接就能在消费级硬件上跑起模型,亲手试用后再决定用哪个。
推荐指数
适合想快速试玩本地小模型的人,但已不是严格评测榜单,且更新停在 2023 年底。
总 Star 排名
#3298
雷达追踪的 3,931 个 AI 仓库中
创建于
2023
2023年5月7日
核心亮点
1一键试跑
每个模型配一个 Colab 笔记本,点按钮即可运行。
2面向消费硬件
收录的是 7B、13B 等能在普通设备上跑的小模型。
3附带使用备注
表格里标注了角色扮演效果、是否有审查、逻辑缺陷等。
4模型来源清晰
每个条目都链接到 Hugging Face 上的 GGUF 权重页。
适用场景
选型前试用
例如:想找不审查的角色扮演模型,先跑 OpenHermes-2.5 和 dolphin 对比。
无本地环境时体验
例如:手头没有显卡,用 Colab 免费额度跑 zephyr-7B-beta 试试效果。
了解 GGUF 小模型生态
例如:浏览表格了解 2023 年底有哪些热门 7B 模型及各自特点。
它是怎么工作的
第 1 步
挑选模型
在 README 表格里按备注和日期选一个感兴趣的模型。
第 2 步
打开笔记本
点击 Open in Colab 按钮加载对应的 ipynb 文件。
第 3 步
运行加载
笔记本从 Hugging Face 下载 GGUF 权重并启动 WebUI。
第 4 步
对话试用
在 WebUI 里输入问题,按自己的场景判断效果。
快速上手
- 1
打开仓库
在浏览器访问 GitHub 仓库页面。
- 2
选模型
在表格中挑一个模型,点其 Open in Colab 按钮。
- 3
运行全部
在 Colab 中依次执行单元格,等待模型下载完成。
- 4
开始对话
打开笔记本输出的 WebUI 链接试用。
适合谁
- 想低成本试玩本地 LLM 的开发者
- 需要不审查角色扮演模型的人
- 刚接触 GGUF 格式想找入门样例的人
不太适合
- 需要权威量化评测排名的人
- 想找持续维护、覆盖新模型的项目的人
成熟度
- 活跃度README 标注 2023 年 11 月后未再扩充模型,内容基本停滞。
- 文档README 表格清楚列出模型、链接和备注,但缺少使用说明细节。
- 社区约 1100 star、150 fork,issue 仅 6 个,讨论不活跃。
- 上手难度点 Colab 按钮即可运行,无需本地配置。
同类项目怎么选
- oobabooga/text-generation-webui完整的本地推理 WebUI,支持更多模型格式,而非模型对比清单。
- lm-evaluation-harness提供标准化基准评测,而非靠人工试用判断。
使用前注意
- · 仓库未声明开源许可证,复用内容前需确认授权。
- · 依赖 Colab 免费额度,运行大模型可能受显存和时长限制。
- · 收录模型停留在 2023 年底,不代表当前最佳选择。
- · 表格备注为主观体验,不是系统评测结果。
