superlinked GitHub avatar

sie

Python
向量检索推理服务superlinked最近推送 2026年11月20日
模型推理与部署Apache-2.03,53233960 issues7 天 +22

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

一个自托管推理引擎,用统一 API 为 Agent 提供嵌入、检索、OCR、分类等 100+ 模型服务。

SIE 是 Superlinked 开源的推理服务器与生产集群,旨在用一个系统替代按任务拆分的多个模型服务。它通过 OpenAI 兼容 API 提供搜索检索、文档转 Markdown、结构化输出、内容安全、Agent 循环、翻译、转录和视觉等任务,支持 100+ 模型按需加载。

推荐指数

4.0

适合需要自建多模型推理基础设施的团队,功能覆盖广且部署配置齐全,但上手需要一定运维经验。

近 7 天

+22

新增 Star

总 Star 排名

#1605

雷达追踪的 3,971 个 AI 仓库中

创建于

2023

2023年11月7日

核心亮点

  • 1统一 API

    兼容 OpenAI 接口,可低成本迁移现有调用。

  • 2多模型按需加载

    同时服务多个模型,用 LRU 策略自动换出。

  • 3任务覆盖广

    涵盖检索、OCR、分类、安全、翻译、语音和视觉。

  • 4生产部署配置

    提供 Kubernetes、Helm、KEDA 自动扩缩和 Grafana 面板。

  • 5生态集成多

    可对接 LangChain、LlamaIndex、Qdrant、Weaviate 等。

适用场景

  • 自建 RAG 检索服务

    例如:用 bge-m3 和 splade-v3 做嵌入与稀疏检索,替代外部嵌入 API。

  • 文档解析流水线

    例如:把 PDF 或扫描件通过 MinerU 或 PaddleOCR-VL 转成 Markdown 再入库。

  • Agent 内容安全

    例如:在 Agent 调用链中接入 Qwen3Guard 对输入输出做安全判定。

  • 多模态预处理

    例如:用 Whisper 转录音频、Florence-2 描述图片,统一走一个集群。

它是怎么工作的

  1. 第 1 步

    部署集群

    按 README 用 Kubernetes/Helm 或本地方式启动 SIE 服务。

  2. 第 2 步

    选择模型

    从预置模型目录中按任务挑选模型,通过 sie_id 指定。

  3. 第 3 步

    调用 API

    用 OpenAI 兼容端点或 SDK 发送请求,服务按需加载模型。

  4. 第 4 步

    弹性伸缩

    借助 KEDA 和网关根据负载自动扩缩容。

快速上手

  1. 1

    安装 SDK

    通过 pip 安装 Python 客户端。

    pip install sie-sdk
  2. 2

    启动服务

    参考官方 Quickstart 启动本地或集群服务。

  3. 3

    调用嵌入接口

    用 OpenAI 兼容端点请求嵌入。

适合谁

  • 需要自建推理基础设施的 AI 平台团队
  • 要统一管理多种模型服务的 MLOps 工程师
  • 对数据隐私要求高、希望模型不出云的企业

不太适合

  • 只想调用托管 API、不想运维集群的开发者
  • 资源有限、只需单一嵌入模型的小项目

成熟度

  • 活跃度最近一次推送在 2026 年 11 月,持续维护。
  • 文档README 结构清晰,有独立文档站和 API 参考。
  • 社区约 3500 star、338 fork,59 个开放 issue,规模中等。
  • 上手难度提供 SDK 和 Quickstart,但生产部署涉及 Kubernetes 和 Helm,有一定门槛。

同类项目怎么选

  • vLLM侧重 LLM 高吞吐推理,SIE 覆盖更多非 LLM 任务模型。
  • Hugging Face TGI主要服务文本生成模型,SIE 提供检索、OCR、安全等专用模型。
  • Ollama面向本地单机易用,SIE 面向生产集群和多模型调度。

使用前注意

  • · 采用 Apache-2.0 许可,商用需保留版权声明。
  • · 生产集群依赖 Kubernetes 和 Helm,需要相应运维能力。
  • · 模型按需加载会占用 GPU 显存,需评估硬件成本。
  • · README 中部分模型名称和版本较新,使用前建议核对模型配置。

主题标签

embeddingsvector-searchdata-pipelinedeep-learninginformation-retrievalllmmlmlopsnatural-language-processingnlppythonretrievalretrieval-augmented-generationsemantic-searchinferencebgecolbertinference-serverrerankingsplade