openvinotoolkit GitHub avatar

openvino

C++
AI 推理优化工具包openvinotoolkit最近推送 2026年11月19日
模型推理与部署Apache-2.011.3k3,6031,162 issues7 天 +200

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

优化和部署深度学习模型的开源推理工具包,支持多硬件平台。

OpenVINO 是 Intel 发起的开源工具包,用于优化和部署 AI 推理。它支持转换 PyTorch、TensorFlow、ONNX 等框架训练的模型,并在 CPU、GPU、NPU 等硬件上高效运行,覆盖计算机视觉、语音识别、生成式 AI 等场景。

推荐指数

4.0

适合需要在 Intel 硬件上部署优化模型的开发者,生态成熟但主要面向 Intel 平台。

近 7 天

+200

新增 Star

总 Star 排名

#607

雷达追踪的 3,958 个 AI 仓库中

创建于

2018

2018年10月15日

核心亮点

  • 1多框架支持

    可直接转换 PyTorch、TensorFlow、ONNX、PaddlePaddle 等模型。

  • 2硬件覆盖广

    支持 x86/ARM CPU、Intel 集成/独立 GPU 及 NPU。

  • 3推理优化

    针对视觉、语音、大模型等任务提升运行性能。

  • 4多语言 API

    提供 C++、Python、C、NodeJS 接口。

  • 5生成式 AI 支持

    通过 GenAI API 优化 LLM 和扩散模型推理。

适用场景

  • 边缘设备部署

    例如:在 Intel NUC 上使用 OpenVINO 运行 YOLO 目标检测模型。

  • 大模型推理加速

    例如:将 Hugging Face 上的 LLM 转换为 OpenVINO 格式并在 CPU 上推理。

  • 计算机视觉应用

    例如:用 OpenVINO 优化 PyTorch 训练的 ResNet 模型并部署到产线质检。

  • 语音识别

    例如:使用 OpenVINO 运行 Whisper 模型实现实时语音转文字。

它是怎么工作的

  1. 第 1 步

    模型转换

    使用 ov.convert_model 将 PyTorch、TensorFlow 等模型转为 OpenVINO 中间表示。

  2. 第 2 步

    模型优化

    工具包对计算图进行优化,适配目标硬件。

  3. 第 3 步

    编译加载

    通过 Core().compile_model 将模型编译到指定设备(CPU/GPU/NPU)。

  4. 第 4 步

    执行推理

    传入输入数据,调用编译后的模型获得输出。

快速上手

  1. 1

    安装

    使用 pip 安装 OpenVINO。

    pip install -U openvino
  2. 2

    验证安装

    导入并打印版本号。

    python -c "import openvino as ov; print(ov.__version__)"
  3. 3

    转换并推理 PyTorch 模型

    加载 PyTorch 模型,转换为 OpenVINO 模型并在 CPU 上推理。

适合谁

  • 需要在 Intel CPU/GPU/NPU 上部署模型的开发者
  • 希望将训练好的模型跨框架转换并优化推理性能的工程师
  • 使用 Python 或 C++ 进行 AI 应用开发的程序员

不太适合

  • 主要使用非 Intel 硬件(如 NVIDIA GPU)进行推理的用户
  • 需要端到端训练框架而非推理部署工具的研究者

成熟度

  • 活跃度最近推送在 2026 年,star 数超过 1.1 万,持续活跃开发。
  • 文档提供完整文档、教程、示例和 Notebook。
  • 社区有 3563 个 fork 和 1146 个开放 issue,社区规模较大。
  • 上手难度pip 安装简单,API 清晰,但硬件特定优化需要学习。

同类项目怎么选

  • ONNX Runtime跨平台推理引擎,支持更多硬件后端,不限于 Intel。
  • TensorRTNVIDIA 的推理优化库,专为 NVIDIA GPU 设计。
  • TVM开源深度学习编译器,支持多种硬件后端,更偏底层优化。

使用前注意

  • · 主要针对 Intel 硬件优化,在其他硬件上性能可能受限。
  • · 模型转换可能需要对不支持的算子进行额外处理。
  • · Apache-2.0 许可,商用友好。
  • · 生成式 AI 功能需额外安装 openvino-genai 包。

主题标签

inferencedeep-learningopenvinoaicomputer-visiondiffusion-modelsgenerative-aillm-inferencenatural-language-processingnlpperformance-boostspeech-recognitionstable-diffusiondeploy-aioptimize-aitransformersyolorecommendation-systemgood-first-issue