AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
开源中英双语对话大模型,可在本地部署并微调。
ChatGLM2-6B 是 ChatGLM-6B 的第二代开源中英双语对话模型,基于 GLM 混合目标函数,经 1.4T 中英标识符预训练与人类偏好对齐训练。相比初代,它在 MMLU、C-Eval、GSM8K、BBH 等评测上有明显提升,上下文从 2K 扩展到 32K,推理速度提升约 42%,并降低了显存占用。
推荐指数
成熟稳定的中文开源对话模型,适合本地部署与二次开发,但已被后续 GLM-4 系列取代。
总 Star 排名
#461
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年6月24日
核心亮点
1性能提升明显
MMLU、C-Eval、GSM8K、BBH 等评测相比初代大幅提升。
2长上下文
上下文从 2K 扩展到 32K,另有 ChatGLM2-6B-32K 版本。
3推理更省显存
采用 Multi-Query Attention,INT4 量化下 6G 显存可对话 8K 长度。
4支持微调
提供 P-Tuning v2 与全参数微调脚本。
5协议较开放
权重对学术研究完全开放,登记后可免费商用。
适用场景
本地部署对话服务
例如:在单张消费级显卡上用 INT4 量化跑起中英文聊天机器人。
领域微调实验
例如:用 P-Tuning v2 脚本在自有客服语料上微调模型。
长文本理解
例如:使用 32K 版本处理长文档问答或摘要。
教学与研究
例如:在课程或论文中作为 6B 级中文 LLM 的基线模型。
它是怎么工作的
第 1 步
加载模型
通过 HuggingFace 仓库下载权重,用 transformers 加载。
第 2 步
量化推理
按显存选择 FP16、INT8 或 INT4 精度运行。
第 3 步
对话生成
输入中英文提示,模型自回归生成回复。
第 4 步
可选微调
用 P-Tuning v2 或全参数脚本在自有数据上训练。
快速上手
- 1
安装依赖
安装 PyTorch 与 transformers 等依赖。
pip install protobuf transformers==4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate - 2
加载模型
用 transformers 从 HuggingFace 加载分词器与模型。
- 3
运行对话
调用 chat 接口进行多轮对话。
- 4
启动网页演示
运行仓库自带 Web Demo 脚本。
python web_demo.py
适合谁
- 想本地部署中文对话模型的开发者
- 需要微调自有数据的团队
- 研究中文 LLM 的学生与研究者
不太适合
- 追求最新最强模型能力的用户
- 无 GPU 资源、只想调 API 的开发者
成熟度
- 活跃度最后更新为 2024 年 6 月,已转向 GLM-4 系列。
- 文档README 含评测、显存表、微调与部署说明,较完整。
- 社区约 1.5 万 star、1700+ fork,社区生态项目较多。
- 上手难度提供 Web Demo 与量化方案,单卡即可运行。
同类项目怎么选
- Qwen阿里通义千问系列,模型尺寸选择更多,更新更活跃。
- Baichuan百川智能开源模型,同样面向中英双语对话。
- LLaMAMeta 开源模型,英文生态更成熟,中文需额外适配。
使用前注意
- · 许可证为 NOASSERTION,商用前需按 MODEL_LICENSE 填写问卷登记。
- · 模型规模较小,输出准确性无法保证,易被误导。
- · 项目已停止主要更新,新项目建议评估 GLM-4 等后续模型。
- · 需自行承担数据安全与合规备案责任。
