cactus-compute GitHub avatar

engine

C++
移动端大模型推理引擎cactus-compute最近推送 2026年11月6日
模型推理与部署NOASSERTION6,197515115 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向手机等消费设备的 2bit 量化与推理运行时,让大模型在本地跑起来。

Cactus 是一个面向移动设备和可穿戴设备的混合边缘-云 AI 引擎,包含量化、算子内核、计算图和推理运行时。它提供兼容 OpenAI 的文本、语音和视觉 API,支持在 Android 和 iOS 上本地运行大模型,并通过置信度阈值自动将难查询路由到云端。

推荐指数

4.0

适合需要在移动端本地部署大模型的开发者,量化方案和跨平台绑定较完整,但生态和文档仍在完善中。

总 Star 排名

#1070

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年4月23日

核心亮点

  • 12bit 量化

    自研旋转-码本量化,支持 4bit 到 1bit,在低比特下保持可用精度。

  • 2移动端内核

    针对 ARM NEON 的 CPU/GPU 算子,覆盖矩阵乘、注意力、卷积等。

  • 3混合云路由

    根据本地模型置信度自动将难查询交给云端,兼顾隐私与效果。

  • 4多语言绑定

    提供 Swift、Kotlin、Flutter、React Native、Python、Rust 绑定。

  • 5OpenAI 兼容

    引擎 API 兼容 OpenAI 格式,支持文本、语音、视觉和工具调用。

适用场景

  • 移动端离线聊天

    例如:在 iPhone 上本地运行 Gemma 模型,无网络时仍可对话。

  • 端侧语音转写

    例如:用 Parakeet 模型在手机上实时转写 20 秒音频。

  • 低资源工具调用

    例如:用 26M 参数的 Needle 模型在设备上执行函数调用。

  • 混合推理应用

    例如:本地模型置信度低时自动调用云端大模型补足回答。

它是怎么工作的

  1. 第 1 步

    模型量化

    使用 Cactus Quants 将 HuggingFace 模型转换为 4bit 到 1bit 的量化格式。

  2. 第 2 步

    计算图构建

    通过 Cactus Graph 以零拷贝方式组合张量运算和注意力等操作。

  3. 第 3 步

    内核执行

    Cactus Kernels 在 ARM CPU/GPU 上执行量化后的矩阵乘和卷积等算子。

  4. 第 4 步

    引擎推理

    Cactus Engine 加载模型,提供兼容 OpenAI 的聊天、转写、视觉等接口。

  5. 第 5 步

    混合路由

    根据本地模型置信度决定是否将请求转发到云端模型。

快速上手

  1. 1

    安装 CLI

    在 Mac 上通过 Homebrew 安装 Cactus 命令行工具。

    brew install cactus-compute/cactus/cactus
  2. 2

    运行演示

    启动默认模型进行对话演示。

    cactus run
  3. 3

    下载模型

    从 HuggingFace 下载预转换的模型。

    cactus download [HF-Name]
  4. 4

    转换模型

    将任意 HuggingFace 模型转换为 Cactus 格式(实验性)。

    cactus convert [HF-Name]

适合谁

  • 移动端 AI 应用开发者
  • 需要在离线环境运行大模型的团队
  • 对低比特量化和端侧推理感兴趣的研究者

不太适合

  • 需要成熟稳定生产级框架的团队
  • 仅使用云端 API 的开发者

成熟度

  • 活跃度最近更新于 2026 年 11 月,star 数较高,但 issue 数 116 表明仍在活跃开发。
  • 文档README 较详细,但部分文档链接指向 docs 目录,完整度一般。
  • 社区有 6196 star 和 515 fork,但 issue 数较多,社区规模中等。
  • 上手难度提供 CLI 和多种绑定,但移动端集成仍需一定 C++ 和平台知识。

同类项目怎么选

  • llama.cpp更成熟的通用 LLM 推理框架,Cactus 专注移动端 2bit 量化和混合云路由。
  • MNN阿里开源的移动端推理引擎,支持多框架模型,Cactus 更聚焦 LLM 和自研量化。
  • ONNX Runtime通用推理运行时,Cactus 提供端到端移动 LLM 方案和 OpenAI 兼容接口。

使用前注意

  • · 许可证为 NOASSERTION,使用前需确认具体许可条款。
  • · 2bit 量化在部分任务上精度下降明显,需根据场景选择比特宽度。
  • · 移动端性能依赖设备芯片,低端设备可能无法达到理想速度。
  • · 混合云路由涉及数据上传,需评估隐私和合规要求。

主题标签

androidframeworkiosllamacppllmllm-inferencellmstransformeraiedgemobilesmartphonespeechwhisperarmedge-aimobile-inferenceon-device-aiquantizrag