li-plus GitHub avatar

chatglm.cpp

C++
ChatGLM推理引擎li-plus最近推送 2024年7月31日
模型推理与部署MIT2,960325161 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 C++ 在本地运行 ChatGLM 系列模型的推理实现。

这是 ChatGLM-6B、ChatGLM2-6B、ChatGLM3 和 GLM-4(V) 的 C++ 实现,基于 ggml 库,工作方式类似 llama.cpp。它支持在 MacBook 等设备上进行实时聊天,提供量化、CPU 推理加速和 Python 绑定等功能。

推荐指数

4.0

适合需要在本地或边缘设备运行 ChatGLM 系列模型的开发者,成熟度较高但更新放缓。

总 Star 排名

#1793

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年5月24日

核心亮点

  • 1纯 C++ 实现

    基于 ggml,不依赖 Python 运行时,便于嵌入和部署。

  • 2量化加速

    支持 int4/int8 量化,降低内存占用并提升 CPU 推理速度。

  • 3多模型支持

    覆盖 ChatGLM-6B、ChatGLM2、ChatGLM3、GLM-4(V) 和 CodeGeeX2。

  • 4跨平台

    可在 Linux、macOS、Windows 上运行,支持 x86/ARM CPU 和 NVIDIA/Apple GPU。

  • 5微调模型兼容

    支持 P-Tuning v2 和 LoRA 微调模型的转换与推理。

适用场景

  • 本地离线聊天

    例如:在 MacBook 上量化 ChatGLM3-6B 后,用命令行进行交互式对话。

  • 边缘设备部署

    例如:在 ARM 开发板上运行量化后的 ChatGLM2-6B,提供本地问答服务。

  • 集成到 C++ 应用

    例如:将推理库嵌入桌面软件,实现内置 AI 助手功能。

  • 微调模型验证

    例如:合并 LoRA 权重后转换为 GGML 格式,快速测试微调效果。

它是怎么工作的

  1. 第 1 步

    模型转换

    用 convert.py 将 Hugging Face 格式的模型转换为 GGML 格式,并可选择量化类型。

  2. 第 2 步

    编译构建

    使用 CMake 编译 C++ 项目,生成可执行文件。

  3. 第 3 步

    加载推理

    运行 main 程序加载 GGML 模型,输入提示词进行生成。

  4. 第 4 步

    交互扩展

    支持交互模式、系统提示词、函数调用和代码解释器等高级用法。

快速上手

  1. 1

    克隆仓库

    递归克隆项目及子模块。

    git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp
  2. 2

    安装依赖

    安装 Python 包用于模型转换。

    python3 -m pip install torch tabulate tqdm transformers accelerate sentencepiece
  3. 3

    量化模型

    将 ChatGLM-6B 转换为 q4_0 量化格式。

    python3 chatglm_cpp/convert.py -i THUDM/chatglm-6b -t q4_0 -o models/chatglm-ggml.bin
  4. 4

    编译运行

    用 CMake 构建并运行示例。

    cmake -B build && cmake --build build -j --config Release && ./build/bin/main -m models/chatglm-ggml.bin -p 你好

适合谁

  • 需要在本地或离线环境运行 ChatGLM 的开发者
  • 希望将模型集成到 C++ 项目的工程师
  • 对量化推理和边缘部署感兴趣的研究者

不太适合

  • 不熟悉 C++ 和命令行操作的用户
  • 需要最新模型或频繁更新的项目

成熟度

  • 活跃度最后更新于 2024 年 7 月,近一年无新提交,但历史更新较频繁。
  • 文档README 详细,包含转换、编译、运行示例和多种模型用法。
  • 社区近 3000 star 和 326 fork,但 161 个开放 issue 表明维护响应可能不足。
  • 上手难度需要手动转换模型和编译 C++ 项目,对新手有一定门槛。

同类项目怎么选

  • llama.cpp支持更广泛的模型家族,社区更活跃,但不专门针对 ChatGLM 系列优化。
  • ChatGLM-6B 官方仓库提供 Python 实现和训练代码,但非 C++ 本地推理优化。

使用前注意

  • · 项目采用 MIT 许可证,可自由使用和修改。
  • · 模型转换和量化需要一定的磁盘空间和内存。
  • · 部分高级功能(如函数调用)需要特定模型和提示词配置。
  • · 项目更新放缓,可能不兼容未来新模型或依赖版本。

主题标签

large-language-modelschatglmnlpchatglm2chatglm3codegeex2-6bglm4