kubeai-project GitHub avatar

kubeai

Go
Kubernetes 模型推理平台kubeai-project最近推送 2026年11月16日
模型推理与部署Apache-2.01,294149108 issues7 天 +4

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在 Kubernetes 上部署和扩缩容大模型推理服务的 Operator。

KubeAI 是一个 Kubernetes 上的 AI 推理 Operator,用来在生产环境部署和扩缩容机器学习模型。它支持 LLM、向量嵌入、重排序和语音转文字,内置 vLLM、Ollama、Infinity、Whisper 等推理引擎,并提供 OpenAI 兼容 API。

推荐指数

4.0

适合已在用 Kubernetes 的团队,用较低运维成本上线多种模型推理服务。

近 7 天

+4

新增 Star

总 Star 排名

#2984

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年10月21日

核心亮点

  • 1OpenAI 兼容

    提供 chat、completions、embeddings、rerank、音频转写等接口,现有客户端库可直接用。

  • 2从零扩缩容

    按需从 0 副本扩容,不依赖 Knative 或 Istio。

  • 3前缀感知路由

    代理按 KV 缓存状态做负载均衡,README 称可明显改善首字延迟和吞吐。

  • 4模型缓存与适配器

    自动下载并挂载模型,支持跨副本编排 LoRA 适配器。

  • 5硬件灵活

    可运行在 CPU、GPU 或 TPU 上,并附带常见 GPU 的预配置模型目录。

适用场景

  • 自建 LLM 服务

    例如:在自有 K8s 集群上用 vLLM 部署一个对话模型,对外暴露 OpenAI 兼容接口。

  • 多模型混合推理

    例如:同一集群同时运行文本生成、嵌入和语音转写模型,按流量分别扩缩容。

  • 边缘或私有化部署

    例如:在 GPU 服务器或边缘集群上部署小模型,数据不出本地。

它是怎么工作的

  1. 第 1 步

    定义模型

    通过 KubeAI Model CRD 或 Helm 配置声明模型来源、引擎和资源规格。

  2. 第 2 步

    Operator 调度

    模型 Operator 创建后端 Pod,自动下载模型、挂载卷并加载 LoRA 适配器。

  3. 第 3 步

    代理转发

    模型代理提供 OpenAI 兼容 API,按前缀感知策略把请求分发到后端。

  4. 第 4 步

    按需扩缩

    无流量时缩到零,有请求时排队并扩容,失败请求自动重试。

快速上手

  1. 1

    创建本地集群

    用 kind 或 minikube 起一个本地 Kubernetes 集群。

    kind create cluster # OR: minikube start
  2. 2

    添加 Helm 仓库

    添加 KubeAI 官方 Helm 仓库并更新。

    helm repo add kubeai https://www.kubeai.org && helm repo update
  3. 3

    安装 KubeAI

    安装并等待组件就绪,可能需要几分钟。

    helm install kubeai kubeai/kubeai --wait --timeout 10m
  4. 4

    启用模型

    通过 Helm values 启用目录中的预置模型,例如 CPU 版小模型。

适合谁

  • 已有 Kubernetes 集群、想自建模型推理服务的团队
  • 需要 OpenAI 兼容接口以减少客户端改造的开发者
  • 要同时跑 LLM、嵌入、语音等多种模型的平台团队

不太适合

  • 没有 K8s 运维经验、只想单机跑模型的个人
  • 只需要调用云端 API、不打算自托管的用户

成熟度

  • 活跃度最近一次推送在 2026 年,仍在持续开发。
  • 文档README 含架构说明、快速上手和配置文档链接。
  • 社区约 1.3k star、147 fork,有公开采用者列表,但规模仍属中等。
  • 上手难度Helm 一条命令安装,不依赖 Istio、Knative,上手门槛较低。

同类项目怎么选

  • KServe更通用的模型服务框架,支持多种运行时,但依赖组件更多、配置更重。
  • Ollama单机或简单部署的模型运行工具,不提供 K8s 原生扩缩容和多副本路由。
  • vLLM推理引擎本身,KubeAI 在其之上做 K8s 编排、扩缩容和代理。

使用前注意

  • · 需要可用的 Kubernetes 集群,本地体验也要先装 kind 或 minikube。
  • · GPU 推理依赖相应硬件和驱动,CPU 只能跑小模型。
  • · 开源许可为 Apache-2.0,商用前仍需自行评估合规与支持。
  • · 项目仍在演进,生产使用前建议先在小集群验证扩缩容和路由行为。

主题标签

k8sllmopenai-apiautoscalerollamavllmollama-operatorvllm-operatoraikuberneteswhisperinference-operatorfaster-whisper