Troyanovsky GitHub avatar

Local-LLM-Comparison-Colab-UI

Jupyter Notebook
本地大模型性能对比Troyanovsky最近推送 2026年1月13日
模型推理与部署1,1061536 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 Colab 一键试跑本地小模型,自己判断哪个适合你。

这个仓库原本想用 GPT-4 出题给 7B、13B 小模型打分做横向对比,后来作者认为评分不足以反映实际效果,改为只提供各模型的 Colab WebUI 链接。你点开链接就能在消费级硬件上跑起模型,亲手试用后再决定用哪个。

推荐指数

3.0

适合想快速试玩本地小模型的人,但已不是严格评测榜单,且更新停在 2023 年底。

总 Star 排名

#3298

雷达追踪的 3,931 个 AI 仓库中

创建于

2023

2023年5月7日

核心亮点

  • 1一键试跑

    每个模型配一个 Colab 笔记本,点按钮即可运行。

  • 2面向消费硬件

    收录的是 7B、13B 等能在普通设备上跑的小模型。

  • 3附带使用备注

    表格里标注了角色扮演效果、是否有审查、逻辑缺陷等。

  • 4模型来源清晰

    每个条目都链接到 Hugging Face 上的 GGUF 权重页。

适用场景

  • 选型前试用

    例如:想找不审查的角色扮演模型,先跑 OpenHermes-2.5 和 dolphin 对比。

  • 无本地环境时体验

    例如:手头没有显卡,用 Colab 免费额度跑 zephyr-7B-beta 试试效果。

  • 了解 GGUF 小模型生态

    例如:浏览表格了解 2023 年底有哪些热门 7B 模型及各自特点。

它是怎么工作的

  1. 第 1 步

    挑选模型

    在 README 表格里按备注和日期选一个感兴趣的模型。

  2. 第 2 步

    打开笔记本

    点击 Open in Colab 按钮加载对应的 ipynb 文件。

  3. 第 3 步

    运行加载

    笔记本从 Hugging Face 下载 GGUF 权重并启动 WebUI。

  4. 第 4 步

    对话试用

    在 WebUI 里输入问题,按自己的场景判断效果。

快速上手

  1. 1

    打开仓库

    在浏览器访问 GitHub 仓库页面。

  2. 2

    选模型

    在表格中挑一个模型,点其 Open in Colab 按钮。

  3. 3

    运行全部

    在 Colab 中依次执行单元格,等待模型下载完成。

  4. 4

    开始对话

    打开笔记本输出的 WebUI 链接试用。

适合谁

  • 想低成本试玩本地 LLM 的开发者
  • 需要不审查角色扮演模型的人
  • 刚接触 GGUF 格式想找入门样例的人

不太适合

  • 需要权威量化评测排名的人
  • 想找持续维护、覆盖新模型的项目的人

成熟度

  • 活跃度README 标注 2023 年 11 月后未再扩充模型,内容基本停滞。
  • 文档README 表格清楚列出模型、链接和备注,但缺少使用说明细节。
  • 社区约 1100 star、150 fork,issue 仅 6 个,讨论不活跃。
  • 上手难度点 Colab 按钮即可运行,无需本地配置。

同类项目怎么选

  • oobabooga/text-generation-webui完整的本地推理 WebUI,支持更多模型格式,而非模型对比清单。
  • lm-evaluation-harness提供标准化基准评测,而非靠人工试用判断。

使用前注意

  • · 仓库未声明开源许可证,复用内容前需确认授权。
  • · 依赖 Colab 免费额度,运行大模型可能受显存和时长限制。
  • · 收录模型停留在 2023 年底,不代表当前最佳选择。
  • · 表格备注为主观体验,不是系统评测结果。

主题标签

aigptllamallm