huggingface GitHub avatar

text-embeddings-inference

Rust
文本嵌入推理服务huggingface最近推送 2026年11月17日
模型推理与部署Apache-2.05,128464193 issues7 天 +8

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

Hugging Face 出品的文本嵌入模型高性能推理服务,支持 Docker 部署和动态批处理。

Text Embeddings Inference(TEI)是一个用 Rust 编写的工具包,用于部署和提供开源文本嵌入及序列分类模型。它支持 FlagEmbedding、Ember、GTE、E5 等主流模型,并提供基于 token 的动态批处理、Flash Attention 优化、小型 Docker 镜像和快速启动等特性。

推荐指数

4.0

适合需要自托管嵌入服务的开发者,性能优化到位,但需注意模型兼容性和硬件要求。

近 7 天

+8

新增 Star

总 Star 排名

#1246

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年10月13日

核心亮点

  • 1高性能推理

    使用 Flash Attention、Candle 和 cuBLASLt 优化,支持动态批处理。

  • 2部署简单

    提供小型 Docker 镜像和快速启动,适合无服务器场景。

  • 3模型支持广

    覆盖 BERT、GTE、Qwen2、Mistral 等多种嵌入和重排序模型。

  • 4生产就绪

    内置 OpenTelemetry 分布式追踪和 Prometheus 指标。

  • 5多平台支持

    支持 NVIDIA GPU、AMD ROCm、Apple Silicon 和 ARM64。

适用场景

  • 语义搜索服务

    例如:为电商网站构建商品搜索,使用 TEI 部署 BGE 模型实时生成查询和商品嵌入。

  • RAG 应用

    例如:在检索增强生成系统中,用 TEI 提供文档嵌入和重排序服务。

  • 文本分类

    例如:部署序列分类模型对用户评论进行情感分析。

它是怎么工作的

  1. 第 1 步

    加载模型

    从 Hugging Face Hub 或本地路径加载 Safetensors 或 ONNX 格式的模型权重。

  2. 第 2 步

    动态批处理

    根据 token 数量动态组合请求,提高 GPU 利用率。

  3. 第 3 步

    推理优化

    使用 Flash Attention 和 cuBLASLt 加速注意力计算和矩阵运算。

  4. 第 4 步

    提供 API

    通过 HTTP 或 gRPC 接口接收文本并返回嵌入向量或分类结果。

快速上手

  1. 1

    拉取镜像

    使用 Docker 拉取 TEI 镜像(需指定 GPU 版本)。

    docker pull ghcr.io/huggingface/text-embeddings-inference:latest
  2. 2

    启动服务

    运行容器并指定模型 ID,例如 BAAI/bge-base-en-v1.5。

    docker run --gpus all -p 8080:80 -v $PWD/data:/data ghcr.io/huggingface/text-embeddings-inference:latest --model-id BAAI/bge-base-en-v1.5
  3. 3

    调用 API

    发送 POST 请求到 /embed 端点获取嵌入向量。

    curl 127.0.0.1:8080/embed -X POST -d '{"inputs":"What is Deep Learning?"}' -H 'Content-Type: application/json'

适合谁

  • 需要自托管嵌入服务的开发者
  • 使用 Hugging Face 模型进行语义搜索或 RAG 的团队
  • 关注推理性能和部署效率的工程师

不太适合

  • 没有 GPU 或 Apple Silicon 硬件的用户
  • 需要开箱即用的云端 API 而非自托管的用户

成熟度

  • 活跃度最近更新于 2026 年 11 月,持续活跃开发。
  • 文档README 详细,有 Swagger API 文档,但部分高级配置需查阅源码。
  • 社区5.1k stars,460 forks,190 个开放 issue,社区较活跃。
  • 上手难度Docker 一键启动,但需要 GPU 环境,模型兼容性需确认。

同类项目怎么选

  • sentence-transformersPython 库,更侧重模型训练和简单推理,不提供生产级服务部署。
  • FastAPI + transformers需自行搭建服务,TEI 提供开箱即用的优化和监控。
  • Triton Inference Server通用推理服务器,TEI 专为文本嵌入模型优化,更轻量。

使用前注意

  • · 需要 NVIDIA GPU(或 Apple Silicon/AMD ROCm)才能发挥性能,CPU 推理较慢。
  • · 部分模型(如 Gemma3)需要访问权限,需配置 Hugging Face token。
  • · Apache-2.0 许可,可商用,但需保留版权声明。
  • · 动态批处理可能增加延迟,需根据场景调整参数。

主题标签

aiembeddingshuggingfacellmml