AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
在 Kubernetes 上部署和扩缩容大模型推理服务的 Operator。
KubeAI 是一个 Kubernetes 上的 AI 推理 Operator,用来在生产环境部署和扩缩容机器学习模型。它支持 LLM、向量嵌入、重排序和语音转文字,内置 vLLM、Ollama、Infinity、Whisper 等推理引擎,并提供 OpenAI 兼容 API。
推荐指数
适合已在用 Kubernetes 的团队,用较低运维成本上线多种模型推理服务。
近 7 天
+4
新增 Star
总 Star 排名
#2984
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年10月21日
核心亮点
1OpenAI 兼容
提供 chat、completions、embeddings、rerank、音频转写等接口,现有客户端库可直接用。
2从零扩缩容
按需从 0 副本扩容,不依赖 Knative 或 Istio。
3前缀感知路由
代理按 KV 缓存状态做负载均衡,README 称可明显改善首字延迟和吞吐。
4模型缓存与适配器
自动下载并挂载模型,支持跨副本编排 LoRA 适配器。
5硬件灵活
可运行在 CPU、GPU 或 TPU 上,并附带常见 GPU 的预配置模型目录。
适用场景
自建 LLM 服务
例如:在自有 K8s 集群上用 vLLM 部署一个对话模型,对外暴露 OpenAI 兼容接口。
多模型混合推理
例如:同一集群同时运行文本生成、嵌入和语音转写模型,按流量分别扩缩容。
边缘或私有化部署
例如:在 GPU 服务器或边缘集群上部署小模型,数据不出本地。
它是怎么工作的
第 1 步
定义模型
通过 KubeAI Model CRD 或 Helm 配置声明模型来源、引擎和资源规格。
第 2 步
Operator 调度
模型 Operator 创建后端 Pod,自动下载模型、挂载卷并加载 LoRA 适配器。
第 3 步
代理转发
模型代理提供 OpenAI 兼容 API,按前缀感知策略把请求分发到后端。
第 4 步
按需扩缩
无流量时缩到零,有请求时排队并扩容,失败请求自动重试。
快速上手
- 1
创建本地集群
用 kind 或 minikube 起一个本地 Kubernetes 集群。
kind create cluster # OR: minikube start - 2
添加 Helm 仓库
添加 KubeAI 官方 Helm 仓库并更新。
helm repo add kubeai https://www.kubeai.org && helm repo update - 3
安装 KubeAI
安装并等待组件就绪,可能需要几分钟。
helm install kubeai kubeai/kubeai --wait --timeout 10m - 4
启用模型
通过 Helm values 启用目录中的预置模型,例如 CPU 版小模型。
适合谁
- 已有 Kubernetes 集群、想自建模型推理服务的团队
- 需要 OpenAI 兼容接口以减少客户端改造的开发者
- 要同时跑 LLM、嵌入、语音等多种模型的平台团队
不太适合
- 没有 K8s 运维经验、只想单机跑模型的个人
- 只需要调用云端 API、不打算自托管的用户
成熟度
- 活跃度最近一次推送在 2026 年,仍在持续开发。
- 文档README 含架构说明、快速上手和配置文档链接。
- 社区约 1.3k star、147 fork,有公开采用者列表,但规模仍属中等。
- 上手难度Helm 一条命令安装,不依赖 Istio、Knative,上手门槛较低。
同类项目怎么选
- KServe更通用的模型服务框架,支持多种运行时,但依赖组件更多、配置更重。
- Ollama单机或简单部署的模型运行工具,不提供 K8s 原生扩缩容和多副本路由。
- vLLM推理引擎本身,KubeAI 在其之上做 K8s 编排、扩缩容和代理。
使用前注意
- · 需要可用的 Kubernetes 集群,本地体验也要先装 kind 或 minikube。
- · GPU 推理依赖相应硬件和驱动,CPU 只能跑小模型。
- · 开源许可为 Apache-2.0,商用前仍需自行评估合规与支持。
- · 项目仍在演进,生产使用前建议先在小集群验证扩缩容和路由行为。
