AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
百川智能开源的130亿参数中英双语大语言模型,含基座与对话版本。
Baichuan-13B 是百川智能继 Baichuan-7B 后推出的 130 亿参数开源可商用大模型,在中文和英文 benchmark 上取得同尺寸较好效果。发布包含预训练模型 Baichuan-13B-Base 和对齐模型 Baichuan-13B-Chat,支持中英双语,上下文窗口 4096。
推荐指数
中文开源13B模型中性能突出,提供对话版和量化版本,适合研究和商用申请。
近 7 天
+1
新增 Star
总 Star 排名
#1810
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年7月11日
核心亮点
1同尺寸领先
在 C-Eval、MMLU、CMMLU 等 benchmark 上 5-shot 评测成绩优于同尺寸对比模型。
2双版本开源
同时提供预训练基座 Baichuan-13B-Base 和对齐对话模型 Baichuan-13B-Chat。
3量化部署
开源 int8 和 int4 量化版本,可部署在 Nvidia 3090 等消费级显卡上。
4中英双语
支持中文和英文,使用 ALiBi 位置编码,上下文窗口长度 4096。
5免费商用
学术研究完全开放,开发者邮件申请商用许可后可免费商用。
适用场景
中文对话应用开发
例如:使用 Baichuan-13B-Chat 快速搭建一个中文客服问答机器人。
学术研究与评测
例如:在 C-Eval 或 CMMLU 基准上复现论文中的评测结果。
领域微调
例如:基于 Baichuan-13B-Base 用医疗语料进行继续预训练或指令微调。
低成本本地部署
例如:使用 int4 量化版本在单张 3090 显卡上运行模型推理。
它是怎么工作的
第 1 步
加载模型
通过 Hugging Face transformers 的 from_pretrained 加载模型权重和分词器。
第 2 步
设置生成配置
从预训练目录加载 GenerationConfig,控制对话生成参数。
第 3 步
输入文本推理
将用户输入编码后送入模型,自回归生成回复文本。
第 4 步
可选微调
基于基座模型使用自有数据继续训练,适配特定任务。
快速上手
- 1
安装依赖
安装推理所需 Python 包。
pip install -r requirements.txt - 2
加载分词器
从 Hugging Face 加载 Baichuan-13B-Chat 分词器。
tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan-13B-Chat", use_fast=False, trust_remote_code=True) - 3
加载模型
自动分配设备并以 float16 精度加载模型。
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan-13B-Chat", device_map="auto", torch_dtype=torch.float16, trust_remote_code=True) - 4
设置生成配置
加载对话生成参数配置。
model.generation_config = GenerationConfig.from_pretrained("baichuan-inc/Baichuan-13B-Chat")
适合谁
- 需要中文大模型进行应用开发的开发者
- 研究大语言模型评测和微调的学术人员
- 希望低成本本地部署 13B 模型的团队
不太适合
- 需要最新模型版本的用户(已有 Baichuan 2)
- 无 GPU 资源或仅需轻量级模型的个人开发者
成熟度
- 活跃度最后更新于 2023 年 9 月,已发布新一代 Baichuan 2,仓库活跃度低。
- 文档README 包含介绍、benchmark、模型细节、推理部署和微调指引,较完整。
- 社区约 2900 star 和 225 fork,有 96 个开放 issue,社区有一定关注但已趋缓。
- 上手难度提供 Hugging Face 权重和几行代码推理示例,量化版本降低部署门槛。
同类项目怎么选
- LLaMA-13BMeta 开源,英文为主,中文能力较弱,需额外适配。
- Chinese-LLaMA-Plus-13B基于 LLaMA 扩展中文词表并继续训练,中文 benchmark 成绩低于 Baichuan-13B。
- Vicuna-13B基于 LLaMA 的对话模型,英文对话见长,中文评测成绩较低。
使用前注意
- · 商用需邮件申请并获得官方许可,并非直接 Apache-2.0 即可商用。
- · 模型已停止更新,官方推荐使用 Baichuan 2 系列。
- · 13B 模型推理需要较大显存,建议使用量化版本或高显存 GPU。
- · 使用 trust_remote_code=True 加载模型,需注意代码安全。
