AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用 Python 调用 C/C++ 实现的 GGML Transformer 模型,轻量本地推理。
CTransformers 为基于 GGML 库、用 C/C++ 实现的 Transformer 模型提供 Python 绑定。它提供统一接口加载 GGML 格式模型,支持 GPT-2、LLaMA、Falcon 等多种模型,并可选 GPU 加速。
推荐指数
适合需要轻量本地推理的 Python 开发者,但项目已一年多未更新,新项目建议评估替代方案。
总 Star 排名
#2371
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年5月15日
核心亮点
1统一加载接口
AutoModelForCausalLM 支持多种模型类型,无需为每个模型写不同代码。
2GGML 格式支持
可直接加载 .bin 或 .gguf 模型文件,也支持从 Hugging Face Hub 拉取。
3可选 GPU 加速
通过 gpu_layers 参数将部分层放到 GPU,支持 CUDA、Metal 和 ROCm。
4生态集成
已集成 LangChain,并可实验性接入 🤗 Transformers 的 pipeline。
5流式输出
设置 stream=True 可逐 token 输出生成文本。
适用场景
本地 Python 应用集成大模型
例如:在桌面脚本中用 ctransformers 加载 LLaMA 2 GGML 模型做文本生成。
LangChain 工作流
例如:在 LangChain 链中调用 ctransformers 作为本地 LLM 后端。
资源受限环境推理
例如:在无 GPU 的笔记本上运行量化后的 GPT-2 模型。
它是怎么工作的
第 1 步
安装 Python 包
通过 pip 安装 ctransformers,按需选择 CUDA/Metal/ROCm 扩展。
第 2 步
加载 GGML 模型
用 AutoModelForCausalLM.from_pretrained 指定模型路径或 Hub 仓库。
第 3 步
调用生成
像函数一样调用模型对象,传入提示词并设置采样参数。
第 4 步
可选 GPU 卸载
设置 gpu_layers 参数将部分层放到 GPU 上运行。
快速上手
- 1
安装
安装基础包,如需 CUDA 可安装 ctransformers[cuda]。
pip install ctransformers - 2
加载模型
从本地路径或 Hugging Face Hub 加载 GGML 模型。
llm = AutoModelForCausalLM.from_pretrained("marella/gpt-2-ggml") - 3
生成文本
传入提示词并打印结果,可设置 stream=True 流式输出。
print(llm("AI is going to"))
适合谁
- 需要在 Python 中本地运行 GGML 模型的开发者
- 使用 LangChain 并希望接入本地 LLM 的用户
- 资源有限、希望轻量推理的开发者
不太适合
- 需要最新模型架构支持的用户
- 要求项目活跃维护的生产环境
成熟度
- 活跃度最后更新于 2024 年 1 月,已超过一年无提交。
- 文档README 覆盖安装、用法、GPU 和参数说明,较完整。
- 社区约 1.9k star、144 fork,但开放 issue 112 个,维护响应可能不足。
- 上手难度pip 安装,几行代码即可加载和生成,接口统一。
同类项目怎么选
- llama-cpp-python同样提供 GGML/GGUF 模型的 Python 绑定,但社区更活跃、更新更频繁。
- llama.cppC++ 原生实现,CTransformers 底层依赖类似技术,但 llama.cpp 不提供 Python 接口。
使用前注意
- · 项目已一年多未更新,新模型架构可能不支持。
- · GPU 加速需要额外安装 CUDA/Metal/ROCm 依赖,配置略复杂。
- · GPTQ 和 🤗 Transformers 集成标注为实验性功能,可能不稳定。
- · MIT 许可证,可商用,但需自行评估模型权重许可。
