marella GitHub avatar

ctransformers

C
本地大模型推理库marella最近推送 2024年1月28日
模型推理与部署MIT1,888144112 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 Python 调用 C/C++ 实现的 GGML Transformer 模型,轻量本地推理。

CTransformers 为基于 GGML 库、用 C/C++ 实现的 Transformer 模型提供 Python 绑定。它提供统一接口加载 GGML 格式模型,支持 GPT-2、LLaMA、Falcon 等多种模型,并可选 GPU 加速。

推荐指数

3.0

适合需要轻量本地推理的 Python 开发者,但项目已一年多未更新,新项目建议评估替代方案。

总 Star 排名

#2371

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年5月15日

核心亮点

  • 1统一加载接口

    AutoModelForCausalLM 支持多种模型类型,无需为每个模型写不同代码。

  • 2GGML 格式支持

    可直接加载 .bin 或 .gguf 模型文件,也支持从 Hugging Face Hub 拉取。

  • 3可选 GPU 加速

    通过 gpu_layers 参数将部分层放到 GPU,支持 CUDA、Metal 和 ROCm。

  • 4生态集成

    已集成 LangChain,并可实验性接入 🤗 Transformers 的 pipeline。

  • 5流式输出

    设置 stream=True 可逐 token 输出生成文本。

适用场景

  • 本地 Python 应用集成大模型

    例如:在桌面脚本中用 ctransformers 加载 LLaMA 2 GGML 模型做文本生成。

  • LangChain 工作流

    例如:在 LangChain 链中调用 ctransformers 作为本地 LLM 后端。

  • 资源受限环境推理

    例如:在无 GPU 的笔记本上运行量化后的 GPT-2 模型。

它是怎么工作的

  1. 第 1 步

    安装 Python 包

    通过 pip 安装 ctransformers,按需选择 CUDA/Metal/ROCm 扩展。

  2. 第 2 步

    加载 GGML 模型

    用 AutoModelForCausalLM.from_pretrained 指定模型路径或 Hub 仓库。

  3. 第 3 步

    调用生成

    像函数一样调用模型对象,传入提示词并设置采样参数。

  4. 第 4 步

    可选 GPU 卸载

    设置 gpu_layers 参数将部分层放到 GPU 上运行。

快速上手

  1. 1

    安装

    安装基础包,如需 CUDA 可安装 ctransformers[cuda]。

    pip install ctransformers
  2. 2

    加载模型

    从本地路径或 Hugging Face Hub 加载 GGML 模型。

    llm = AutoModelForCausalLM.from_pretrained("marella/gpt-2-ggml")
  3. 3

    生成文本

    传入提示词并打印结果,可设置 stream=True 流式输出。

    print(llm("AI is going to"))

适合谁

  • 需要在 Python 中本地运行 GGML 模型的开发者
  • 使用 LangChain 并希望接入本地 LLM 的用户
  • 资源有限、希望轻量推理的开发者

不太适合

  • 需要最新模型架构支持的用户
  • 要求项目活跃维护的生产环境

成熟度

  • 活跃度最后更新于 2024 年 1 月,已超过一年无提交。
  • 文档README 覆盖安装、用法、GPU 和参数说明,较完整。
  • 社区约 1.9k star、144 fork,但开放 issue 112 个,维护响应可能不足。
  • 上手难度pip 安装,几行代码即可加载和生成,接口统一。

同类项目怎么选

  • llama-cpp-python同样提供 GGML/GGUF 模型的 Python 绑定,但社区更活跃、更新更频繁。
  • llama.cppC++ 原生实现,CTransformers 底层依赖类似技术,但 llama.cpp 不提供 Python 接口。

使用前注意

  • · 项目已一年多未更新,新模型架构可能不支持。
  • · GPU 加速需要额外安装 CUDA/Metal/ROCm 依赖,配置略复杂。
  • · GPTQ 和 🤗 Transformers 集成标注为实验性功能,可能不稳定。
  • · MIT 许可证,可商用,但需自行评估模型权重许可。

主题标签

aillmtransformersctransformers