cactus-compute GitHub avatar

cactus

Python
端侧智能推理框架cactus-compute最近推送 2026年11月19日
模型推理与部署Apache-2.014.8k1,0407 issues7 天 +141

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一个 Python 包,在消费设备上本地运行文本、语音和视觉模型。

Cactus 提供统一的 Python 接口,让开发者在本地运行文本、语音和视觉模型,不需要云端推理。它包含工具调用、结构化数据抽取、语音转写、图像理解和模型微调能力,模型体积在 50MB 以下。仓库以 Python 为主,采用 Apache-2.0 许可。

推荐指数

4.0

适合想在端侧做语音、视觉和工具调用的开发者,安装简单,但部分能力有平台限制。

近 7 天

+141

新增 Star

总 Star 排名

#485

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年2月24日

核心亮点

  • 1一个包多模态

    文本、语音、视觉能力都通过同一个 Python 包调用。

  • 2本地推理

    模型下载后在本机运行,不依赖云端服务。

  • 3工具调用

    用装饰器定义函数,agent 自动调用并返回结果。

  • 4模型体积小

    面向消费设备,模型在 50MB 以下。

  • 5支持微调

    可对 Needle 和 Whistle 模型进行微调。

适用场景

  • 端侧语音转写

    例如:用 cactus.transcribe 把 16kHz WAV 文件转成带时间戳的文字。

  • 本地工具调用 agent

    例如:定义 get_weather 函数,让 agent 回答“拉各斯天气如何”。

  • 图像理解

    例如:用 Mirage 描述图片内容或抽取结构化信息。

  • Mac 本地大模型

    例如:用 cactus-mlx 命令在 Apple 芯片上运行 CQ 检查点。

它是怎么工作的

  1. 第 1 步

    安装包

    通过 pip 安装 cactus-compute,首次使用时下载并缓存引擎和模型权重。

  2. 第 2 步

    调用接口

    用 cactus.Cactus、transcribe、Mirage 等接口执行对应任务。

  3. 第 3 步

    本地推理

    推理在本机完成,不需要 JAX 或云端服务。

  4. 第 4 步

    可选微调

    安装 train 扩展后对 Needle 或 Whistle 模型微调。

快速上手

  1. 1

    安装

    需要 Python 3.9 或更高版本。

    pip install -U cactus-compute
  2. 2

    运行 agent

    定义工具函数并交给 Cactus 执行。

  3. 3

    语音转写

    传入 16kHz WAV 文件获取文字。

  4. 4

    Mac 上运行 MLX 模型

    需要 Apple 芯片、macOS 26 以上和 Python 3.12 以上。

    pip install -U 'cactus-compute[mlx]'

适合谁

  • 做端侧 AI 应用的 Python 开发者
  • 需要本地语音转写或图像理解的团队
  • 想在 Mac 上跑本地大模型的开发者

不太适合

  • 需要大规模云端推理服务的团队
  • 使用非 Apple 芯片却想跑 MLX 模型的用户

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,仓库较活跃。
  • 文档README 覆盖安装、示例和文档链接,较完整。
  • 社区约 1.4 万 star、1000 多 fork,开放 issue 仅 6 个。
  • 上手难度pip 安装后几行代码即可调用,但 MLX 部分有平台要求。

同类项目怎么选

  • llama.cpp偏重通用 LLM 本地推理,Cactus 更聚焦语音、视觉和工具调用的封装。
  • whisper.cpp专注语音转写,Cactus 还覆盖视觉和 agent 能力。

使用前注意

  • · MLX 语言模型仅支持 Apple 芯片和 macOS 26 以上。
  • · 语音转写默认要求 16kHz WAV,其他采样率需安装 mic 扩展。
  • · 默认会收集匿名 Python 使用计数,可用 CACTUS_TELEMETRY=0 关闭。
  • · 从旧包迁移时导入路径和命令有变化,需按 README 调整。

主题标签

cactusllmon-device-aiedge-aifoundation-modelfunction-callingtinymltool-calling