baichuan-inc GitHub avatar

Baichuan-13B

Python
中文大语言模型baichuan-inc最近推送 2023年9月7日
模型推理与部署Apache-2.02,91822596 issues7 天 +1

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

百川智能开源的130亿参数中英双语大语言模型,含基座与对话版本。

Baichuan-13B 是百川智能继 Baichuan-7B 后推出的 130 亿参数开源可商用大模型,在中文和英文 benchmark 上取得同尺寸较好效果。发布包含预训练模型 Baichuan-13B-Base 和对齐模型 Baichuan-13B-Chat,支持中英双语,上下文窗口 4096。

推荐指数

4.0

中文开源13B模型中性能突出,提供对话版和量化版本,适合研究和商用申请。

近 7 天

+1

新增 Star

总 Star 排名

#1810

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年7月11日

核心亮点

  • 1同尺寸领先

    在 C-Eval、MMLU、CMMLU 等 benchmark 上 5-shot 评测成绩优于同尺寸对比模型。

  • 2双版本开源

    同时提供预训练基座 Baichuan-13B-Base 和对齐对话模型 Baichuan-13B-Chat。

  • 3量化部署

    开源 int8 和 int4 量化版本,可部署在 Nvidia 3090 等消费级显卡上。

  • 4中英双语

    支持中文和英文,使用 ALiBi 位置编码,上下文窗口长度 4096。

  • 5免费商用

    学术研究完全开放,开发者邮件申请商用许可后可免费商用。

适用场景

  • 中文对话应用开发

    例如:使用 Baichuan-13B-Chat 快速搭建一个中文客服问答机器人。

  • 学术研究与评测

    例如:在 C-Eval 或 CMMLU 基准上复现论文中的评测结果。

  • 领域微调

    例如:基于 Baichuan-13B-Base 用医疗语料进行继续预训练或指令微调。

  • 低成本本地部署

    例如:使用 int4 量化版本在单张 3090 显卡上运行模型推理。

它是怎么工作的

  1. 第 1 步

    加载模型

    通过 Hugging Face transformers 的 from_pretrained 加载模型权重和分词器。

  2. 第 2 步

    设置生成配置

    从预训练目录加载 GenerationConfig,控制对话生成参数。

  3. 第 3 步

    输入文本推理

    将用户输入编码后送入模型,自回归生成回复文本。

  4. 第 4 步

    可选微调

    基于基座模型使用自有数据继续训练,适配特定任务。

快速上手

  1. 1

    安装依赖

    安装推理所需 Python 包。

    pip install -r requirements.txt
  2. 2

    加载分词器

    从 Hugging Face 加载 Baichuan-13B-Chat 分词器。

    tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan-13B-Chat", use_fast=False, trust_remote_code=True)
  3. 3

    加载模型

    自动分配设备并以 float16 精度加载模型。

    model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan-13B-Chat", device_map="auto", torch_dtype=torch.float16, trust_remote_code=True)
  4. 4

    设置生成配置

    加载对话生成参数配置。

    model.generation_config = GenerationConfig.from_pretrained("baichuan-inc/Baichuan-13B-Chat")

适合谁

  • 需要中文大模型进行应用开发的开发者
  • 研究大语言模型评测和微调的学术人员
  • 希望低成本本地部署 13B 模型的团队

不太适合

  • 需要最新模型版本的用户(已有 Baichuan 2)
  • 无 GPU 资源或仅需轻量级模型的个人开发者

成熟度

  • 活跃度最后更新于 2023 年 9 月,已发布新一代 Baichuan 2,仓库活跃度低。
  • 文档README 包含介绍、benchmark、模型细节、推理部署和微调指引,较完整。
  • 社区约 2900 star 和 225 fork,有 96 个开放 issue,社区有一定关注但已趋缓。
  • 上手难度提供 Hugging Face 权重和几行代码推理示例,量化版本降低部署门槛。

同类项目怎么选

  • LLaMA-13BMeta 开源,英文为主,中文能力较弱,需额外适配。
  • Chinese-LLaMA-Plus-13B基于 LLaMA 扩展中文词表并继续训练,中文 benchmark 成绩低于 Baichuan-13B。
  • Vicuna-13B基于 LLaMA 的对话模型,英文对话见长,中文评测成绩较低。

使用前注意

  • · 商用需邮件申请并获得官方许可,并非直接 Apache-2.0 即可商用。
  • · 模型已停止更新,官方推荐使用 Baichuan 2 系列。
  • · 13B 模型推理需要较大显存,建议使用量化版本或高显存 GPU。
  • · 使用 trust_remote_code=True 加载模型,需注意代码安全。

主题标签

artificial-intelligencechatgptchinesegpt-4huggingfacelarge-language-modelsnatural-language-processingbenchmarkcevalmmlu