LinkSoul-AI GitHub avatar

Chinese-Llama-2-7b

Python
中文大语言模型LinkSoul-AI最近推送 2023年10月26日
模型推理与部署Apache-2.02,19719331 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

开源可商用的中文LLaMA2-7B模型,提供模型、数据和部署工具。

这是LinkSoul-AI开源的中文版LLaMA2-7B模型,包含中英文SFT数据集(1000万条),输入格式遵循llama-2-chat,兼容原版优化。提供模型下载、4bit量化、GGML格式、Docker部署和API服务,旨在让开发者能下载并运行中文大模型。

推荐指数

4.0

适合想快速体验或研究中文LLaMA2的开发者,但项目已一年多未更新,需注意时效性。

总 Star 排名

#2164

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年7月20日

核心亮点

  • 1完全开源可商用

    模型和数据集均开源,Apache-2.0许可,允许商业使用。

  • 2多格式模型

    提供原版、4bit量化、GGML Q4等多种格式,适应不同硬件。

  • 3部署方式多样

    支持Transformers、Docker、llama.cpp(CPU)和FastAPI API部署。

  • 4兼容llama-2-chat

    输入格式严格遵循llama-2-chat,可直接套用原版优化工具。

  • 5附带SFT数据集

    开源1000万条中英文指令数据集,便于进一步微调。

适用场景

  • 本地中文对话实验

    例如:开发者用Python脚本加载模型,进行中文问答测试。

  • CPU环境推理

    例如:使用GGML量化模型在无GPU的电脑上运行llama.cpp进行推理。

  • 快速API服务

    例如:运行api.py启动FastAPI服务,通过HTTP接口调用模型。

  • 微调研究

    例如:利用开源SFT数据集对模型进行领域适配微调。

它是怎么工作的

  1. 第 1 步

    下载模型

    从HuggingFace、ModelScope等渠道获取模型权重。

  2. 第 2 步

    加载推理

    使用Transformers库加载模型,按llama-2-chat格式构造输入并生成回复。

  3. 第 3 步

    量化转换(可选)

    使用提供的脚本将模型转换为GGML格式,以便在CPU上运行。

  4. 第 4 步

    部署服务

    通过Docker或api.py启动服务,提供API接口。

快速上手

  1. 1

    安装依赖

    安装transformers等基础库。

    pip install transformers
  2. 2

    运行推理代码

    使用README中的Python代码加载模型并生成回复。

  3. 3

    Docker部署(可选)

    构建并运行Docker容器。

    docker build -t linksoul/chinese-llama2-chat .
  4. 4

    启动API(可选)

    安装fastapi和uvicorn后运行api.py。

    python api.py

适合谁

  • 想体验中文LLaMA2的开发者
  • 需要可商用中文模型的研究者
  • 希望在本地或CPU上运行模型的用户

不太适合

  • 追求最新模型性能的用户
  • 需要活跃社区支持的生产项目

成熟度

  • 活跃度最后更新于2023年10月,已超过一年无新提交。
  • 文档README详细,包含下载、推理、Docker、API等完整说明。
  • 社区有2.2k star和193 fork,但31个开放issue且近期无维护。
  • 上手难度提供多种部署方式和量化模型,上手门槛较低。

同类项目怎么选

  • Chinese-LLaMA-Alpaca-2同样基于LLaMA2的中文模型,但提供更多参数版本和持续更新。
  • Linly另一个中文LLaMA2项目,包含更多训练细节和模型变体。

使用前注意

  • · 项目已停止更新,模型可能落后于最新研究。
  • · 使用前需确认模型许可(Apache-2.0)及原LLaMA2许可条款。
  • · GGML转换和量化需要额外步骤,可能遇到环境问题。
  • · 在线Demo可能因资源限制无法访问。

主题标签

deep-learningllama2llama2-dockerllmpytorch