AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
统一部署和调用各类开源模型的推理平台,兼容 OpenAI API。
Xinference 是 Xorbits 开源的分布式推理平台,可在本地、云端或集群的异构硬件上运行模型。内置 300+ 模型,覆盖语言、视觉、向量、重排、图像、音频、视频等类型,也支持注册自定义模型。提供 Web UI、CLI、Python SDK 和 OpenAI 兼容 API 来管理和调用模型。
推荐指数
适合需要自托管多模型并统一 API 的团队,功能覆盖广、上手路径清晰。
近 7 天
+11
新增 Star
总 Star 排名
#718
雷达追踪的 3,971 个 AI 仓库中
创建于
2023
2023年6月14日
核心亮点
1模型覆盖广
内置 300+ 模型,含语言、视觉、向量、音频、视频等类型。
2多推理引擎
可选 vLLM、SGLang、Transformers、llama.cpp、MLX 等后端。
3OpenAI 兼容
提供 OpenAI 和 Anthropic 兼容接口,支持流式与工具调用。
4分布式部署
支持多机 worker、副本扩展和大模型跨节点运行。
5多种管理方式
Web UI、CLI、Python SDK 均可部署和管理模型。
适用场景
自建模型服务
例如:在本地 GPU 机器上部署 Qwen 模型,用 OpenAI SDK 直接调用。
多模型统一接入
例如:同一套 API 同时调用对话、向量和重排模型,减少适配工作。
集群推理扩容
例如:增加 worker 和副本,把大模型推理分散到多台机器。
它是怎么工作的
第 1 步
启动服务
安装后运行 xinference-local,启动本地推理服务。
第 2 步
选择模型
在 Web UI 搜索模型,按推荐配置部署。
第 3 步
调度引擎
根据模型和硬件选择 vLLM、Transformers 等后端执行推理。
第 4 步
统一调用
通过 OpenAI 兼容 API、SDK 或 CLI 访问已部署模型。
快速上手
- 1
安装
用 pip 安装 Xinference。
pip install xinference - 2
启动服务
本地启动服务,默认监听 127.0.0.1。
xinference-local --host 127.0.0.1 - 3
部署模型
打开 http://127.0.0.1:9997,搜索 qwen3.5 并按推荐配置部署。
- 4
调用接口
创建 API Key 后调用 chat completions 接口。
curl --fail-with-body http://127.0.0.1:9997/v1/chat/completions -H "Authorization: Bearer $XINFERENCE_API_KEY" -H "Content-Type: application/json" -d '{"model":"qwen3.5","messages":[{"role":"user","content":"Hello"}]}'
适合谁
- 需要自托管开源模型的开发者
- 希望统一多模型 API 的团队
- 有本地或集群 GPU 资源的运维人员
不太适合
- 只想调用闭源云 API 的用户
- 没有 GPU 或算力资源的小型项目
成熟度
- 活跃度最近更新在 2026 年 11 月,持续活跃开发。
- 文档有独立文档站、模型目录和多语言 README。
- 社区约 9.6k star、900+ fork,有 Discord 和 Telegram 社区。
- 上手难度pip 安装后一条命令启动,Web UI 引导部署。
同类项目怎么选
- Ollama更偏本地单机轻量运行,模型管理和分布式能力较弱。
- vLLM专注高性能 LLM 推理引擎,本身不是多模型管理平台。
- LocalAI同样提供 OpenAI 兼容接口,但模型类型和分布式支持范围不同。
使用前注意
- · 首次启动会下载模型并安装引擎依赖,需要网络和磁盘空间。
- · 不同引擎支持的硬件不同,部署前需确认 GPU、CPU 或 Apple Silicon 兼容性。
- · 分布式和大模型部署需要相应算力资源,成本需自行评估。
- · 采用 Apache-2.0 许可,商用前建议核对具体条款。
