qualcomm GitHub avatar

GenieX

Go
高通端侧大模型SDKqualcomm最近推送 2026年11月18日
模型推理与部署BSD-3-Clause8,5401,09092 issues7 天 +25

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

在骁龙设备上本地运行大模型和视觉语言模型,支持 NPU/GPU/CPU。

GenieX 是高通推出的端侧生成式 AI 推理运行时,是 Qualcomm GENIE 的社区版本。它支持从 Hugging Face、ModelScope 或 Docker Hub 加载 GGUF 模型,也支持高通 AI Hub 的预编译模型包,在 Hexagon NPU、Adreno GPU 或 CPU 上本地运行。底层是一个 C SDK,对外提供 CLI、Python、Kotlin/Java、Docker 和 OpenAI 兼容服务器等多种接口。

推荐指数

4.0

面向骁龙设备的端侧推理工具,接口丰富、上手简单,但平台限制明显。

近 7 天

+25

新增 Star

总 Star 排名

#786

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年8月17日

核心亮点

  • 1多硬件后端

    同一套代码可调度 NPU、GPU 和 CPU 运行模型。

  • 2多语言接口

    提供 CLI、Python、Kotlin/Java、Docker 和 OpenAI 兼容服务。

  • 3模型来源广

    支持 Hugging Face、ModelScope、Docker Hub 的 GGUF 及高通 AI Hub 预编译包。

  • 4Python 接口友好

    API 模仿 transformers 的 from_pretrained 和 generate 用法。

  • 5OpenAI 兼容服务

    一条命令启动本地 API,现有 OpenAI 客户端无需改代码。

适用场景

  • Windows ARM 笔记本本地推理

    例如:在骁龙 X Elite 笔记本上用 CLI 直接运行 Gemma GGUF 模型对话。

  • Android 端侧 AI 应用开发

    例如:用 Kotlin/Java SDK 在骁龙 8 Elite 手机上集成视觉语言模型。

  • 本地 API 服务替代

    例如:用 geniex serve 启动 OpenAI 兼容接口,供现有应用调用本地模型。

  • Linux ARM IoT 设备部署

    例如:在 Dragonwing QCS9075 上通过 Docker 运行量化模型。

它是怎么工作的

  1. 第 1 步

    加载模型

    从 Hugging Face、ModelScope、Docker Hub 拉取 GGUF,或使用高通 AI Hub 预编译包。

  2. 第 2 步

    选择后端

    根据模型类型和硬件,调度到 llama.cpp(CPU/GPU/NPU)或 Qualcomm AI Engine Direct(NPU)。

  3. 第 3 步

    执行推理

    通过统一 C SDK 在骁龙设备的 NPU、GPU 或 CPU 上完成生成。

  4. 第 4 步

    对外暴露

    通过 CLI、Python、Kotlin/Java、Docker 或 OpenAI 兼容 HTTP 服务调用。

快速上手

  1. 1

    安装 CLI(Linux ARM64)

    一行脚本安装,无需 sudo。

    curl -fsSL https://qaihub-public-assets.s3.us-west-2.amazonaws.com/qai-hub-geniex/install.sh | sh
  2. 2

    运行模型

    用一条命令加载 GGUF 模型并开始对话。

    geniex infer google/gemma-4-E4B-it-qat-q4_0-gguf
  3. 3

    安装 Python 包

    通过 pip 安装 Python 接口。

    pip install geniex
  4. 4

    启动本地服务

    拉取模型后启动 OpenAI 兼容 API。

    geniex pull ai-hub-models/Qwen3-4B-Instruct-2507 && geniex serve

适合谁

  • 拥有骁龙 Windows ARM、Android 或 Linux ARM 设备的开发者
  • 需要在端侧离线运行 LLM/VLM 的应用开发者
  • 希望用 OpenAI 兼容接口替换云端调用的团队

不太适合

  • 使用非骁龙硬件(如 x86、苹果芯片)的开发者
  • 需要生产级稳定性的企业用户(当前为开发者预览)

成熟度

  • 活跃度最近更新于 2026 年 11 月,star 数较高,但仍有 92 个开放 issue。
  • 文档README 提供多平台快速上手和文档链接,结构清晰。
  • 社区有 Slack 社区入口,但项目较新,生态仍在建设中。
  • 上手难度CLI 和 Python 接口简单,模仿 transformers 用法,降低上手门槛。

同类项目怎么选

  • llama.cpp通用 GGUF 推理引擎,跨平台广,但不专门针对骁龙 NPU 优化。
  • MNN阿里开源端侧推理框架,支持多平台多后端,模型格式和工具链不同。
  • ONNX Runtime通用推理运行时,支持多硬件,但端侧 LLM 部署需自行处理模型转换和量化。

使用前注意

  • · 仅支持高通骁龙平台(Windows ARM64、Android、Linux ARM64),其他硬件无法运行。
  • · 当前状态为开发者预览(Developer Preview),API 和功能可能变化。
  • · 使用高通 AI Hub 预编译模型或 Device Cloud 远程设备时,需留意相关服务条款和成本。
  • · 许可证为 BSD-3-Clause,商用前建议确认模型本身的许可要求。

主题标签

llmon-device-aisdkvlmgogpt-ossllama3qwen3granite4qwen3vlgemma4hexagonlocal-aiqualcommsnapdragon