liltom-eth GitHub avatar

llama2-webui

Jupyter Notebook
本地大模型运行工具liltom-eth最近推送 2024年3月22日
模型推理与部署MIT1,93019726 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在本地用 Gradio 界面运行 Llama 2,支持 GPU/CPU 和多种模型格式。

这是一个基于 Gradio 的 Web UI 项目,让你在 Linux、Windows 或 macOS 上本地运行 Llama 2 系列模型。它支持 7B、13B、70B 以及 GPTQ、GGML、GGUF 等量化格式,并可通过 llama2-wrapper 作为本地后端供其他生成式应用调用。

推荐指数

4.0

适合想快速本地体验或集成 Llama 2 的开发者,但项目更新已放缓。

总 Star 排名

#2344

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年7月20日

核心亮点

  • 1多模型支持

    覆盖 Llama 2 全系及 CodeLlama,支持 8-bit、4-bit 量化格式。

  • 2跨平台运行

    可在 Linux、Windows、macOS 上使用 GPU 或 CPU 推理。

  • 3多种后端

    支持 transformers、bitsandbytes、AutoGPTQ、llama.cpp 后端。

  • 4OpenAI 兼容 API

    可启动与 OpenAI 接口兼容的本地 API 服务。

  • 5开发者封装

    提供 llama2-wrapper Python 包,方便集成到自有应用。

适用场景

  • 本地聊天体验

    例如:运行 python app.py 启动 Web UI,自动下载 7B 模型并开始对话。

  • 代码补全

    例如:使用 code_completion.py 加载 CodeLlama 模型进行代码填充。

  • 应用集成

    例如:通过 llama2-wrapper 在 Python 项目中调用本地 Llama 2 模型。

  • API 服务

    例如:启动 OpenAI 兼容 API,供其他工具或脚本调用。

它是怎么工作的

  1. 第 1 步

    选择模型与后端

    通过 .env 或命令行参数指定模型路径和后端类型(llama.cpp、transformers、gptq)。

  2. 第 2 步

    加载模型

    根据后端使用对应库加载模型,支持自动下载默认模型。

  3. 第 3 步

    启动界面或 API

    运行 app.py 启动 Gradio Web UI,或启动 OpenAI 兼容 API 服务。

  4. 第 4 步

    推理交互

    用户在界面输入或通过 API 发送请求,模型生成回复。

快速上手

  1. 1

    安装

    通过 pip 安装 llama2-wrapper 或从源码安装依赖。

    pip install llama2-wrapper
  2. 2

    启动聊天界面

    运行 app.py,默认使用 llama.cpp 后端并自动下载 7B 模型。

    python app.py
  3. 3

    代码补全界面

    指定 CodeLlama 模型路径运行代码补全脚本。

    python code_completion.py --model_path ./models/codellama-7b.Q4_0.gguf
  4. 4

    在代码中调用

    导入 llama2_wrapper 并创建实例进行推理。

    from llama2_wrapper import LLAMA2_WRAPPER, get_prompt

适合谁

  • 想本地运行 Llama 2 的开发者
  • 需要快速搭建聊天界面的用户
  • 希望将 Llama 2 集成到 Python 应用中的开发者

不太适合

  • 追求最新模型或长期维护的用户
  • 没有 GPU 或足够内存的普通用户

成熟度

  • 活跃度最后更新于 2024 年 3 月,近一年无新提交。
  • 文档README 详细,包含安装、使用、基准和问题解答。
  • 社区约 1900 star 和 197 fork,有 26 个开放 issue。
  • 上手难度提供一键启动脚本和自动下载模型,上手简单。

同类项目怎么选

  • text-generation-webui支持更多模型类型和功能,但配置更复杂。
  • llama.cpp底层推理引擎,无 Web UI,需自行搭建界面。
  • Ollama提供更简单的模型管理和运行方式,但定制性较低。

使用前注意

  • · 项目更新已放缓,可能不兼容最新模型或库版本。
  • · 运行 70B 模型需要大量显存或内存,硬件要求高。
  • · Windows 上 bitsandbytes 安装可能需要特殊处理。
  • · 使用 Llama 2 模型需遵守 Meta 的许可协议。

主题标签

llama-2llama2llmllm-inference