AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向手机等消费设备的 2bit 量化与推理运行时,让大模型在本地跑起来。
Cactus 是一个面向移动设备和可穿戴设备的混合边缘-云 AI 引擎,包含量化、算子内核、计算图和推理运行时。它提供兼容 OpenAI 的文本、语音和视觉 API,支持在 Android 和 iOS 上本地运行大模型,并通过置信度阈值自动将难查询路由到云端。
推荐指数
适合需要在移动端本地部署大模型的开发者,量化方案和跨平台绑定较完整,但生态和文档仍在完善中。
总 Star 排名
#1070
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年4月23日
核心亮点
12bit 量化
自研旋转-码本量化,支持 4bit 到 1bit,在低比特下保持可用精度。
2移动端内核
针对 ARM NEON 的 CPU/GPU 算子,覆盖矩阵乘、注意力、卷积等。
3混合云路由
根据本地模型置信度自动将难查询交给云端,兼顾隐私与效果。
4多语言绑定
提供 Swift、Kotlin、Flutter、React Native、Python、Rust 绑定。
5OpenAI 兼容
引擎 API 兼容 OpenAI 格式,支持文本、语音、视觉和工具调用。
适用场景
移动端离线聊天
例如:在 iPhone 上本地运行 Gemma 模型,无网络时仍可对话。
端侧语音转写
例如:用 Parakeet 模型在手机上实时转写 20 秒音频。
低资源工具调用
例如:用 26M 参数的 Needle 模型在设备上执行函数调用。
混合推理应用
例如:本地模型置信度低时自动调用云端大模型补足回答。
它是怎么工作的
第 1 步
模型量化
使用 Cactus Quants 将 HuggingFace 模型转换为 4bit 到 1bit 的量化格式。
第 2 步
计算图构建
通过 Cactus Graph 以零拷贝方式组合张量运算和注意力等操作。
第 3 步
内核执行
Cactus Kernels 在 ARM CPU/GPU 上执行量化后的矩阵乘和卷积等算子。
第 4 步
引擎推理
Cactus Engine 加载模型,提供兼容 OpenAI 的聊天、转写、视觉等接口。
第 5 步
混合路由
根据本地模型置信度决定是否将请求转发到云端模型。
快速上手
- 1
安装 CLI
在 Mac 上通过 Homebrew 安装 Cactus 命令行工具。
brew install cactus-compute/cactus/cactus - 2
运行演示
启动默认模型进行对话演示。
cactus run - 3
下载模型
从 HuggingFace 下载预转换的模型。
cactus download [HF-Name] - 4
转换模型
将任意 HuggingFace 模型转换为 Cactus 格式(实验性)。
cactus convert [HF-Name]
适合谁
- 移动端 AI 应用开发者
- 需要在离线环境运行大模型的团队
- 对低比特量化和端侧推理感兴趣的研究者
不太适合
- 需要成熟稳定生产级框架的团队
- 仅使用云端 API 的开发者
成熟度
- 活跃度最近更新于 2026 年 11 月,star 数较高,但 issue 数 116 表明仍在活跃开发。
- 文档README 较详细,但部分文档链接指向 docs 目录,完整度一般。
- 社区有 6196 star 和 515 fork,但 issue 数较多,社区规模中等。
- 上手难度提供 CLI 和多种绑定,但移动端集成仍需一定 C++ 和平台知识。
同类项目怎么选
- llama.cpp更成熟的通用 LLM 推理框架,Cactus 专注移动端 2bit 量化和混合云路由。
- MNN阿里开源的移动端推理引擎,支持多框架模型,Cactus 更聚焦 LLM 和自研量化。
- ONNX Runtime通用推理运行时,Cactus 提供端到端移动 LLM 方案和 OpenAI 兼容接口。
使用前注意
- · 许可证为 NOASSERTION,使用前需确认具体许可条款。
- · 2bit 量化在部分任务上精度下降明显,需根据场景选择比特宽度。
- · 移动端性能依赖设备芯片,低端设备可能无法达到理想速度。
- · 混合云路由涉及数据上传,需评估隐私和合规要求。
