zai-org GitHub avatar

ChatGLM2-6B

Python
双语对话大模型zai-org最近推送 2024年6月27日
模型推理与部署NOASSERTION15.5k1,775449 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

开源中英双语对话大模型,可在本地部署并微调。

ChatGLM2-6B 是 ChatGLM-6B 的第二代开源中英双语对话模型,基于 GLM 混合目标函数,经 1.4T 中英标识符预训练与人类偏好对齐训练。相比初代,它在 MMLU、C-Eval、GSM8K、BBH 等评测上有明显提升,上下文从 2K 扩展到 32K,推理速度提升约 42%,并降低了显存占用。

推荐指数

4.0

成熟稳定的中文开源对话模型,适合本地部署与二次开发,但已被后续 GLM-4 系列取代。

总 Star 排名

#461

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年6月24日

核心亮点

  • 1性能提升明显

    MMLU、C-Eval、GSM8K、BBH 等评测相比初代大幅提升。

  • 2长上下文

    上下文从 2K 扩展到 32K,另有 ChatGLM2-6B-32K 版本。

  • 3推理更省显存

    采用 Multi-Query Attention,INT4 量化下 6G 显存可对话 8K 长度。

  • 4支持微调

    提供 P-Tuning v2 与全参数微调脚本。

  • 5协议较开放

    权重对学术研究完全开放,登记后可免费商用。

适用场景

  • 本地部署对话服务

    例如:在单张消费级显卡上用 INT4 量化跑起中英文聊天机器人。

  • 领域微调实验

    例如:用 P-Tuning v2 脚本在自有客服语料上微调模型。

  • 长文本理解

    例如:使用 32K 版本处理长文档问答或摘要。

  • 教学与研究

    例如:在课程或论文中作为 6B 级中文 LLM 的基线模型。

它是怎么工作的

  1. 第 1 步

    加载模型

    通过 HuggingFace 仓库下载权重,用 transformers 加载。

  2. 第 2 步

    量化推理

    按显存选择 FP16、INT8 或 INT4 精度运行。

  3. 第 3 步

    对话生成

    输入中英文提示,模型自回归生成回复。

  4. 第 4 步

    可选微调

    用 P-Tuning v2 或全参数脚本在自有数据上训练。

快速上手

  1. 1

    安装依赖

    安装 PyTorch 与 transformers 等依赖。

    pip install protobuf transformers==4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate
  2. 2

    加载模型

    用 transformers 从 HuggingFace 加载分词器与模型。

  3. 3

    运行对话

    调用 chat 接口进行多轮对话。

  4. 4

    启动网页演示

    运行仓库自带 Web Demo 脚本。

    python web_demo.py

适合谁

  • 想本地部署中文对话模型的开发者
  • 需要微调自有数据的团队
  • 研究中文 LLM 的学生与研究者

不太适合

  • 追求最新最强模型能力的用户
  • 无 GPU 资源、只想调 API 的开发者

成熟度

  • 活跃度最后更新为 2024 年 6 月,已转向 GLM-4 系列。
  • 文档README 含评测、显存表、微调与部署说明,较完整。
  • 社区约 1.5 万 star、1700+ fork,社区生态项目较多。
  • 上手难度提供 Web Demo 与量化方案,单卡即可运行。

同类项目怎么选

  • Qwen阿里通义千问系列,模型尺寸选择更多,更新更活跃。
  • Baichuan百川智能开源模型,同样面向中英双语对话。
  • LLaMAMeta 开源模型,英文生态更成熟,中文需额外适配。

使用前注意

  • · 许可证为 NOASSERTION,商用前需按 MODEL_LICENSE 填写问卷登记。
  • · 模型规模较小,输出准确性无法保证,易被误导。
  • · 项目已停止主要更新,新项目建议评估 GLM-4 等后续模型。
  • · 需自行承担数据安全与合规备案责任。

主题标签

chatglmchatglm-6blarge-language-modelsllm