AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向国产 AI 加速器的高性能 LLM 推理引擎,支持多类模型部署。
xLLM 是一个高效的 LLM 推理框架,用 C++ 编写,针对国产 AI 加速器做了深度优化,目标是降低企业级部署的成本。除大语言模型外,仓库简介还提到支持 VLM、DiT 和推荐模型(REC)。项目已捐赠给开放原子基金会,并在京东核心零售业务中经过大规模验证。
推荐指数
适合在国产加速器上部署大模型的团队,性能与工程验证较扎实,但生态和文档仍在完善中。
近 7 天
+5
新增 Star
总 Star 排名
#2597
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年8月12日
核心亮点
1国产硬件适配
支持昇腾 NPU、寒武纪 MLU、摩尔线程、海光 DCU、沐曦、天数智芯等多类加速器。
2服务引擎解耦
服务层负责调度与可用性,引擎层专注计算,便于分别扩展。
3新模型快速跟进
README 显示对 DeepSeek-V4、GLM-5、MiniMax-M3 等模型做了 day-0 支持。
4KV 缓存管理
基于 Mooncake 构建混合 KV 缓存,支持全局管理与智能卸载、预取。
5生产环境验证
在京东核心零售业务中经过大规模使用。
适用场景
国产算力集群部署
例如:在昇腾 A2/A3 集群上部署 DeepSeek 系列模型对外提供推理服务。
企业在线推理服务
例如:用其在线服务能力搭建带调度和可用性保障的推理 API。
离线批量推理
例如:对大批量文本做离线生成任务,追求吞吐而非实时响应。
多模态模型部署
例如:部署 GLM-4.6V 等视觉语言模型提供图文理解服务。
它是怎么工作的
第 1 步
加载模型
从 safetensors 等格式加载权重,并用 C++ tokenizer 处理输入。
第 2 步
服务层调度
服务层基于 brpc 提供 HTTP 服务,负责请求调度与可用性。
第 3 步
引擎层计算
引擎层在目标加速器上执行图构建与推理计算。
第 4 步
缓存管理
借助 Mooncake 做混合 KV 缓存,支持卸载与预取以提升效率。
第 5 步
返回结果
解析输出并返回给调用方,支持在线与离线两种模式。
快速上手
- 1
阅读文档
先看官方 Quick Start 与启动文档,确认硬件与驱动要求。
- 2
准备环境
昇腾需 HDK Driver 25.2.0 及以上,其他加速器按文档配置。
- 3
拉取镜像
可使用官方提供的 Docker 镜像简化环境搭建。
- 4
启动服务
参照部署脚本启动在线服务或运行离线推理。
适合谁
- 需要在国产 AI 加速器上部署大模型的团队
- 追求高吞吐低延迟推理的工程团队
- 需要同时部署 LLM、VLM 等多类模型的平台方
不太适合
- 只用 NVIDIA GPU 且无国产硬件需求的用户
- 希望纯 Python 轻量上手的个人开发者
成熟度
- 活跃度2025 年创建,最近更新到 2026 年 11 月,新模型支持跟进频繁。
- 文档有独立文档站和技术报告,但 README 本身偏简,细节需跳转。
- 社区约 1600 star、340 fork,有高校实验室合作,但开放 issue 达 253 个。
- 上手难度C++ 项目且依赖特定加速器驱动,上手门槛较高。
同类项目怎么选
- vLLM生态更成熟、以 NVIDIA GPU 为主,国产加速器适配不如 xLLM 深入。
- SGLang侧重结构化生成与调度优化,硬件覆盖以主流 GPU 为主。
使用前注意
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
- · 强依赖国产加速器及对应驱动版本,硬件不匹配无法运行。
- · 开放 issue 较多,遇到问题可能需要自行排查或等社区响应。
- · README 未给出直接命令,部署需按文档站逐步操作。
