michaelfeil GitHub avatar

infinity

C++
向量嵌入推理引擎michaelfeil最近推送 2026年11月13日
模型推理与部署MIT2,987223162 issues7 天 +2

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

把文本嵌入、重排等模型封装成 REST API 的高吞吐推理服务。

Infinity 是一个模型推理服务引擎,通过 REST API 提供文本嵌入、重排、分类等能力。当前 v3 原生服务用 Rust 编写,基于 LibTorch(PyTorch 的 C++ 接口)做推理;仓库里还保留了 Python 实现的 v2 服务(infinity-emb 包)。

推荐指数

4.0

适合需要自建嵌入/重排 API 的团队,但 v3 是新架构且采用自定义许可证,需评估。

近 7 天

+2

新增 Star

总 Star 排名

#1781

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年10月12日

核心亮点

  • 1多种任务接口

    覆盖嵌入、重排、分类、命名实体识别、SPLADE 稀疏嵌入等端点。

  • 2多模态支持

    README 提到支持 clip、clap、colpali 等模型。

  • 3GPU 多卡部署

    默认使用所有可见 CUDA GPU,每卡放一份完整模型副本。

  • 4Docker 一键启动

    官方镜像直接启动服务,带交互式 API 文档页。

  • 5OpenAI 风格接口

    嵌入走 /v1/embeddings,便于对接现有客户端。

适用场景

  • 语义检索后端

    例如:为文档库生成向量,供向量数据库做相似度搜索。

  • RAG 检索增强

    例如:用 /rerank 对召回结果重新排序后再交给大模型。

  • 文本分类服务

    例如:通过 /v1/classify 对句子做序列分类打分。

它是怎么工作的

  1. 第 1 步

    加载模型

    按 --model-id 从 checkpoint 加载模型,池化方式取自模型元数据。

  2. 第 2 步

    分配到 GPU

    每块可见 GPU 放一份完整模型副本,包括 MoE 的全部专家。

  3. 第 3 步

    预热就绪

    加载并预热完成后 /health 报告就绪。

  4. 第 4 步

    提供 REST 接口

    客户端按任务调用对应端点,如 /v1/embeddings、/rerank。

快速上手

  1. 1

    启动容器

    需 NVIDIA GPU(SM80 及以上)和 Container Toolkit。

    docker run --rm --gpus all -p 8000:8000 -v infinity-cache:/data ghcr.io/michaelfeil/infinity_v3:nvidia-3.0.0 --model-id sentence-transformers/all-MiniLM-L6-v2 --torch-device cuda --dtype bfloat16 --hostname 0.0.0.0 --port 8000
  2. 2

    发送嵌入请求

    调用 /v1/embeddings 获取向量。

    curl http://localhost:8000/v1/embeddings -H 'Content-Type: application/json' -d '{"model":"sentence-transformers/all-MiniLM-L6-v2","input":["A document about semantic search."]}'
  3. 3

    查看接口文档

    浏览器打开运行中服务的交互式文档。

适合谁

  • 需要自建嵌入或重排 API 的后端团队
  • 有 NVIDIA GPU 的部署环境
  • 想用 OpenAI 风格接口接入的开发者

不太适合

  • 没有 GPU 或算力有限的个人开发者
  • 需要宽松开源许可证的商业项目

成熟度

  • 活跃度最近一次推送在 2026-11,v3 仍在演进。
  • 文档有快速开始、模型目录、CLI 和 API 文档链接。
  • 社区约 3000 star、222 fork,但开放 issue 有 160 个。
  • 上手难度Docker 启动简单,但需特定 GPU 和容器工具链。

同类项目怎么选

  • Text Embeddings Inference (TEI)Hugging Face 出品,同样做嵌入/重排推理服务,生态和文档更成熟。
  • vLLM主打大语言模型推理,嵌入支持相对次要。

使用前注意

  • · v3 使用自定义的 Infinity Restricted MIT License,并非标准 MIT;Python 包仍为 MIT。
  • · v3 需要 NVIDIA GPU(SM80 及以上)和 NVIDIA Container Toolkit。
  • · 每块 GPU 必须能容纳完整模型,MoE 模型需包含全部专家。
  • · 模型权重和依赖有各自的许可证,商用前需逐一确认。

主题标签

llmtext-embeddingsbert-embeddings