AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
把文本嵌入、重排等模型封装成 REST API 的高吞吐推理服务。
Infinity 是一个模型推理服务引擎,通过 REST API 提供文本嵌入、重排、分类等能力。当前 v3 原生服务用 Rust 编写,基于 LibTorch(PyTorch 的 C++ 接口)做推理;仓库里还保留了 Python 实现的 v2 服务(infinity-emb 包)。
推荐指数
适合需要自建嵌入/重排 API 的团队,但 v3 是新架构且采用自定义许可证,需评估。
近 7 天
+2
新增 Star
总 Star 排名
#1781
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年10月12日
核心亮点
1多种任务接口
覆盖嵌入、重排、分类、命名实体识别、SPLADE 稀疏嵌入等端点。
2多模态支持
README 提到支持 clip、clap、colpali 等模型。
3GPU 多卡部署
默认使用所有可见 CUDA GPU,每卡放一份完整模型副本。
4Docker 一键启动
官方镜像直接启动服务,带交互式 API 文档页。
5OpenAI 风格接口
嵌入走 /v1/embeddings,便于对接现有客户端。
适用场景
语义检索后端
例如:为文档库生成向量,供向量数据库做相似度搜索。
RAG 检索增强
例如:用 /rerank 对召回结果重新排序后再交给大模型。
文本分类服务
例如:通过 /v1/classify 对句子做序列分类打分。
它是怎么工作的
第 1 步
加载模型
按 --model-id 从 checkpoint 加载模型,池化方式取自模型元数据。
第 2 步
分配到 GPU
每块可见 GPU 放一份完整模型副本,包括 MoE 的全部专家。
第 3 步
预热就绪
加载并预热完成后 /health 报告就绪。
第 4 步
提供 REST 接口
客户端按任务调用对应端点,如 /v1/embeddings、/rerank。
快速上手
- 1
启动容器
需 NVIDIA GPU(SM80 及以上)和 Container Toolkit。
docker run --rm --gpus all -p 8000:8000 -v infinity-cache:/data ghcr.io/michaelfeil/infinity_v3:nvidia-3.0.0 --model-id sentence-transformers/all-MiniLM-L6-v2 --torch-device cuda --dtype bfloat16 --hostname 0.0.0.0 --port 8000 - 2
发送嵌入请求
调用 /v1/embeddings 获取向量。
curl http://localhost:8000/v1/embeddings -H 'Content-Type: application/json' -d '{"model":"sentence-transformers/all-MiniLM-L6-v2","input":["A document about semantic search."]}' - 3
查看接口文档
浏览器打开运行中服务的交互式文档。
适合谁
- 需要自建嵌入或重排 API 的后端团队
- 有 NVIDIA GPU 的部署环境
- 想用 OpenAI 风格接口接入的开发者
不太适合
- 没有 GPU 或算力有限的个人开发者
- 需要宽松开源许可证的商业项目
成熟度
- 活跃度最近一次推送在 2026-11,v3 仍在演进。
- 文档有快速开始、模型目录、CLI 和 API 文档链接。
- 社区约 3000 star、222 fork,但开放 issue 有 160 个。
- 上手难度Docker 启动简单,但需特定 GPU 和容器工具链。
同类项目怎么选
- Text Embeddings Inference (TEI)Hugging Face 出品,同样做嵌入/重排推理服务,生态和文档更成熟。
- vLLM主打大语言模型推理,嵌入支持相对次要。
使用前注意
- · v3 使用自定义的 Infinity Restricted MIT License,并非标准 MIT;Python 包仍为 MIT。
- · v3 需要 NVIDIA GPU(SM80 及以上)和 NVIDIA Container Toolkit。
- · 每块 GPU 必须能容纳完整模型,MoE 模型需包含全部专家。
- · 模型权重和依赖有各自的许可证,商用前需逐一确认。
