AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用 C++ 在本地运行 ChatGLM 系列模型的推理实现。
这是 ChatGLM-6B、ChatGLM2-6B、ChatGLM3 和 GLM-4(V) 的 C++ 实现,基于 ggml 库,工作方式类似 llama.cpp。它支持在 MacBook 等设备上进行实时聊天,提供量化、CPU 推理加速和 Python 绑定等功能。
推荐指数
适合需要在本地或边缘设备运行 ChatGLM 系列模型的开发者,成熟度较高但更新放缓。
总 Star 排名
#1793
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年5月24日
核心亮点
1纯 C++ 实现
基于 ggml,不依赖 Python 运行时,便于嵌入和部署。
2量化加速
支持 int4/int8 量化,降低内存占用并提升 CPU 推理速度。
3多模型支持
覆盖 ChatGLM-6B、ChatGLM2、ChatGLM3、GLM-4(V) 和 CodeGeeX2。
4跨平台
可在 Linux、macOS、Windows 上运行,支持 x86/ARM CPU 和 NVIDIA/Apple GPU。
5微调模型兼容
支持 P-Tuning v2 和 LoRA 微调模型的转换与推理。
适用场景
本地离线聊天
例如:在 MacBook 上量化 ChatGLM3-6B 后,用命令行进行交互式对话。
边缘设备部署
例如:在 ARM 开发板上运行量化后的 ChatGLM2-6B,提供本地问答服务。
集成到 C++ 应用
例如:将推理库嵌入桌面软件,实现内置 AI 助手功能。
微调模型验证
例如:合并 LoRA 权重后转换为 GGML 格式,快速测试微调效果。
它是怎么工作的
第 1 步
模型转换
用 convert.py 将 Hugging Face 格式的模型转换为 GGML 格式,并可选择量化类型。
第 2 步
编译构建
使用 CMake 编译 C++ 项目,生成可执行文件。
第 3 步
加载推理
运行 main 程序加载 GGML 模型,输入提示词进行生成。
第 4 步
交互扩展
支持交互模式、系统提示词、函数调用和代码解释器等高级用法。
快速上手
- 1
克隆仓库
递归克隆项目及子模块。
git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp - 2
安装依赖
安装 Python 包用于模型转换。
python3 -m pip install torch tabulate tqdm transformers accelerate sentencepiece - 3
量化模型
将 ChatGLM-6B 转换为 q4_0 量化格式。
python3 chatglm_cpp/convert.py -i THUDM/chatglm-6b -t q4_0 -o models/chatglm-ggml.bin - 4
编译运行
用 CMake 构建并运行示例。
cmake -B build && cmake --build build -j --config Release && ./build/bin/main -m models/chatglm-ggml.bin -p 你好
适合谁
- 需要在本地或离线环境运行 ChatGLM 的开发者
- 希望将模型集成到 C++ 项目的工程师
- 对量化推理和边缘部署感兴趣的研究者
不太适合
- 不熟悉 C++ 和命令行操作的用户
- 需要最新模型或频繁更新的项目
成熟度
- 活跃度最后更新于 2024 年 7 月,近一年无新提交,但历史更新较频繁。
- 文档README 详细,包含转换、编译、运行示例和多种模型用法。
- 社区近 3000 star 和 326 fork,但 161 个开放 issue 表明维护响应可能不足。
- 上手难度需要手动转换模型和编译 C++ 项目,对新手有一定门槛。
同类项目怎么选
- llama.cpp支持更广泛的模型家族,社区更活跃,但不专门针对 ChatGLM 系列优化。
- ChatGLM-6B 官方仓库提供 Python 实现和训练代码,但非 C++ 本地推理优化。
使用前注意
- · 项目采用 MIT 许可证,可自由使用和修改。
- · 模型转换和量化需要一定的磁盘空间和内存。
- · 部分高级功能(如函数调用)需要特定模型和提示词配置。
- · 项目更新放缓,可能不兼容未来新模型或依赖版本。
