xLLM-AI GitHub avatar

xllm

C++
大模型推理引擎xLLM-AI最近推送 2026年11月18日
模型推理与部署Apache-2.01,625345256 issues7 天 +5

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向国产 AI 加速器的高性能 LLM 推理引擎,支持多类模型部署。

xLLM 是一个高效的 LLM 推理框架,用 C++ 编写,针对国产 AI 加速器做了深度优化,目标是降低企业级部署的成本。除大语言模型外,仓库简介还提到支持 VLM、DiT 和推荐模型(REC)。项目已捐赠给开放原子基金会,并在京东核心零售业务中经过大规模验证。

推荐指数

4.0

适合在国产加速器上部署大模型的团队,性能与工程验证较扎实,但生态和文档仍在完善中。

近 7 天

+5

新增 Star

总 Star 排名

#2597

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年8月12日

核心亮点

  • 1国产硬件适配

    支持昇腾 NPU、寒武纪 MLU、摩尔线程、海光 DCU、沐曦、天数智芯等多类加速器。

  • 2服务引擎解耦

    服务层负责调度与可用性,引擎层专注计算,便于分别扩展。

  • 3新模型快速跟进

    README 显示对 DeepSeek-V4、GLM-5、MiniMax-M3 等模型做了 day-0 支持。

  • 4KV 缓存管理

    基于 Mooncake 构建混合 KV 缓存,支持全局管理与智能卸载、预取。

  • 5生产环境验证

    在京东核心零售业务中经过大规模使用。

适用场景

  • 国产算力集群部署

    例如:在昇腾 A2/A3 集群上部署 DeepSeek 系列模型对外提供推理服务。

  • 企业在线推理服务

    例如:用其在线服务能力搭建带调度和可用性保障的推理 API。

  • 离线批量推理

    例如:对大批量文本做离线生成任务,追求吞吐而非实时响应。

  • 多模态模型部署

    例如:部署 GLM-4.6V 等视觉语言模型提供图文理解服务。

它是怎么工作的

  1. 第 1 步

    加载模型

    从 safetensors 等格式加载权重,并用 C++ tokenizer 处理输入。

  2. 第 2 步

    服务层调度

    服务层基于 brpc 提供 HTTP 服务,负责请求调度与可用性。

  3. 第 3 步

    引擎层计算

    引擎层在目标加速器上执行图构建与推理计算。

  4. 第 4 步

    缓存管理

    借助 Mooncake 做混合 KV 缓存,支持卸载与预取以提升效率。

  5. 第 5 步

    返回结果

    解析输出并返回给调用方,支持在线与离线两种模式。

快速上手

  1. 1

    阅读文档

    先看官方 Quick Start 与启动文档,确认硬件与驱动要求。

  2. 2

    准备环境

    昇腾需 HDK Driver 25.2.0 及以上,其他加速器按文档配置。

  3. 3

    拉取镜像

    可使用官方提供的 Docker 镜像简化环境搭建。

  4. 4

    启动服务

    参照部署脚本启动在线服务或运行离线推理。

适合谁

  • 需要在国产 AI 加速器上部署大模型的团队
  • 追求高吞吐低延迟推理的工程团队
  • 需要同时部署 LLM、VLM 等多类模型的平台方

不太适合

  • 只用 NVIDIA GPU 且无国产硬件需求的用户
  • 希望纯 Python 轻量上手的个人开发者

成熟度

  • 活跃度2025 年创建,最近更新到 2026 年 11 月,新模型支持跟进频繁。
  • 文档有独立文档站和技术报告,但 README 本身偏简,细节需跳转。
  • 社区约 1600 star、340 fork,有高校实验室合作,但开放 issue 达 253 个。
  • 上手难度C++ 项目且依赖特定加速器驱动,上手门槛较高。

同类项目怎么选

  • vLLM生态更成熟、以 NVIDIA GPU 为主,国产加速器适配不如 xLLM 深入。
  • SGLang侧重结构化生成与调度优化,硬件覆盖以主流 GPU 为主。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · 强依赖国产加速器及对应驱动版本,硬件不匹配无法运行。
  • · 开放 issue 较多,遇到问题可能需要自行排查或等社区响应。
  • · README 未给出直接命令,部署需按文档站逐步操作。

主题标签

deepseekinferenceinference-enginellm-inferenceqwenlarge-language-modelsglm