AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
百川智能开源的70亿参数中英双语预训练语言模型,可商用。
Baichuan-7B 是百川智能开发的开源可商用大规模预训练语言模型,基于 Transformer 结构,在约 1.2 万亿 tokens 上训练,参数规模 70 亿,支持中英双语,上下文窗口 4096。README 给出了 C-Eval、Gaokao、AGIEval、MMLU 等榜单结果,并说明新一代 Baichuan 2 已发布。
推荐指数
中文 7B 基座模型,评测数据完整、许可宽松,但已被官方新一代模型取代,适合学习与基线对比。
总 Star 排名
#1145
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年6月14日
核心亮点
1可商用许可
采用 Apache-2.0 许可,README 明确标注开源可商用。
2中文评测靠前
C-Eval 5-shot 平均 42.8,在同尺寸模型中高于 LLaMA-7B、ChatGLM-6B 等。
3中英双语
支持中文和英文,上下文窗口长度 4096。
4评测脚本齐全
仓库提供 C-Eval、MMLU 等评测代码,可复现榜单结果。
5Hugging Face 直用
模型权重托管在 Hugging Face 与 ModelScope,可直接加载推理。
适用场景
中文基座模型研究
例如:加载模型跑 C-Eval 5-shot,对比不同 7B 模型的中文能力。
下游任务微调起点
例如:以 Baichuan-7B 为底座,用自有中文语料做继续预训练或指令微调。
本地推理实验
例如:用 transformers 加载模型,在单张 GPU 上做文本生成测试。
它是怎么工作的
第 1 步
预训练
基于 Transformer 结构,在约 1.2 万亿 tokens 上训练 70 亿参数模型。
第 2 步
发布权重
模型权重发布在 Hugging Face 和 ModelScope,供下载使用。
第 3 步
加载推理
通过 transformers 的 AutoModelForCausalLM 加载,配合 tokenizer 生成文本。
第 4 步
评测验证
仓库附带脚本,在 C-Eval、MMLU 等数据集上做 few-shot 评测。
快速上手
- 1
安装依赖
准备 transformers 等 Python 环境。
- 2
加载模型
从 Hugging Face 拉取权重,需开启 trust_remote_code。
tokenizer = AutoTokenizer.from_pretrained("baichuan-inc/Baichuan-7B", trust_remote_code=True) - 3
生成文本
将输入放到 GPU 上调用 generate 推理。
pred = model.generate(**inputs, max_new_tokens=...) - 4
跑评测
进入 evaluation 目录执行中文评测脚本。
cd evaluation && python evaluate_zh.py --model_name_or_path 'your/model/path'
适合谁
- 想研究或微调中文 7B 基座模型的开发者
- 需要可商用开源模型做实验的团队
- 想复现中文 benchmark 结果的研究者
不太适合
- 需要开箱即用对话能力的产品团队
- 追求最新模型效果的用户
成熟度
- 活跃度最后更新为 2024-07-18,官方已转向 Baichuan 2。
- 文档README 含评测榜单、复现命令和推理示例,信息较完整。
- 社区约 5600 star、500 fork,有 88 个开放 issue。
- 上手难度transformers 几行代码即可加载推理,上手门槛低。
同类项目怎么选
- ChatGLM-6B同为中文开源模型,但偏向对话微调,C-Eval 得分低于本项目。
- LLaMA-7B英文为主的基座模型,中文评测表现明显低于本项目。
- Baichuan2百川官方新一代模型,含 7B、13B,README 已推荐替代本项目。
使用前注意
- · 项目已停止主要更新,官方推荐使用 Baichuan 2。
- · 加载模型需 trust_remote_code=True,运行远程代码前应确认来源可信。
- · 7B 模型推理需要一定显存,本地部署前先评估硬件。
- · Apache-2.0 许可允许商用,但使用模型输出仍需自行评估合规风险。
