xorbitsai GitHub avatar

inference

Python
多模态模型推理平台xorbitsai最近推送 2026年11月20日
模型推理与部署Apache-2.09,66690237 issues7 天 +11

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

统一部署和调用各类开源模型的推理平台,兼容 OpenAI API。

Xinference 是 Xorbits 开源的分布式推理平台,可在本地、云端或集群的异构硬件上运行模型。内置 300+ 模型,覆盖语言、视觉、向量、重排、图像、音频、视频等类型,也支持注册自定义模型。提供 Web UI、CLI、Python SDK 和 OpenAI 兼容 API 来管理和调用模型。

推荐指数

4.0

适合需要自托管多模型并统一 API 的团队,功能覆盖广、上手路径清晰。

近 7 天

+11

新增 Star

总 Star 排名

#718

雷达追踪的 3,971 个 AI 仓库中

创建于

2023

2023年6月14日

核心亮点

  • 1模型覆盖广

    内置 300+ 模型,含语言、视觉、向量、音频、视频等类型。

  • 2多推理引擎

    可选 vLLM、SGLang、Transformers、llama.cpp、MLX 等后端。

  • 3OpenAI 兼容

    提供 OpenAI 和 Anthropic 兼容接口,支持流式与工具调用。

  • 4分布式部署

    支持多机 worker、副本扩展和大模型跨节点运行。

  • 5多种管理方式

    Web UI、CLI、Python SDK 均可部署和管理模型。

适用场景

  • 自建模型服务

    例如:在本地 GPU 机器上部署 Qwen 模型,用 OpenAI SDK 直接调用。

  • 多模型统一接入

    例如:同一套 API 同时调用对话、向量和重排模型,减少适配工作。

  • 集群推理扩容

    例如:增加 worker 和副本,把大模型推理分散到多台机器。

它是怎么工作的

  1. 第 1 步

    启动服务

    安装后运行 xinference-local,启动本地推理服务。

  2. 第 2 步

    选择模型

    在 Web UI 搜索模型,按推荐配置部署。

  3. 第 3 步

    调度引擎

    根据模型和硬件选择 vLLM、Transformers 等后端执行推理。

  4. 第 4 步

    统一调用

    通过 OpenAI 兼容 API、SDK 或 CLI 访问已部署模型。

快速上手

  1. 1

    安装

    用 pip 安装 Xinference。

    pip install xinference
  2. 2

    启动服务

    本地启动服务,默认监听 127.0.0.1。

    xinference-local --host 127.0.0.1
  3. 3

    部署模型

    打开 http://127.0.0.1:9997,搜索 qwen3.5 并按推荐配置部署。

  4. 4

    调用接口

    创建 API Key 后调用 chat completions 接口。

    curl --fail-with-body http://127.0.0.1:9997/v1/chat/completions -H "Authorization: Bearer $XINFERENCE_API_KEY" -H "Content-Type: application/json" -d '{"model":"qwen3.5","messages":[{"role":"user","content":"Hello"}]}'

适合谁

  • 需要自托管开源模型的开发者
  • 希望统一多模型 API 的团队
  • 有本地或集群 GPU 资源的运维人员

不太适合

  • 只想调用闭源云 API 的用户
  • 没有 GPU 或算力资源的小型项目

成熟度

  • 活跃度最近更新在 2026 年 11 月,持续活跃开发。
  • 文档有独立文档站、模型目录和多语言 README。
  • 社区约 9.6k star、900+ fork,有 Discord 和 Telegram 社区。
  • 上手难度pip 安装后一条命令启动,Web UI 引导部署。

同类项目怎么选

  • Ollama更偏本地单机轻量运行,模型管理和分布式能力较弱。
  • vLLM专注高性能 LLM 推理引擎,本身不是多模型管理平台。
  • LocalAI同样提供 OpenAI 兼容接口,但模型类型和分布式支持范围不同。

使用前注意

  • · 首次启动会下载模型并安装引擎依赖,需要网络和磁盘空间。
  • · 不同引擎支持的硬件不同,部署前需确认 GPU、CPU 或 Apple Silicon 兼容性。
  • · 分布式和大模型部署需要相应算力资源,成本需自行评估。
  • · 采用 Apache-2.0 许可,商用前建议核对具体条款。

主题标签

pytorchllmartificial-intelligencemachine-learningwhisperinferenceopenai-apigemmallamacppvllmqwendiffusersglmglm-5-3kimikimi-k3llama-cppsglangtransformersmlx