uxlfoundation GitHub avatar

oneDNN

C++
oneDNN 深度学习算子库uxlfoundation最近推送 2026年11月19日
模型推理与部署Apache-2.04,0941,223176 issues7 天 +2

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向 CPU 和 Intel GPU 的深度学习算子优化库,为框架提供加速层。

oneDNN 是开源的跨平台深度学习算子库,提供矩阵乘、卷积、注意力、归一化等操作的高度优化实现。它是 PyTorch、TensorFlow、OpenVINO、ONNX Runtime 等框架背后的加速层,支持 Intel 64/AMD64、AArch64、RISC-V CPU 和 Intel GPU。

推荐指数

5.0

深度学习框架的底层加速基石,普通开发者应通过框架间接使用,而非直接调用。

近 7 天

+2

新增 Star

总 Star 排名

#1445

雷达追踪的 3,958 个 AI 仓库中

创建于

2016

2016年5月10日

核心亮点

  • 1多架构支持

    同一套 API 覆盖 x64、AArch64、RISC-V CPU 和 Intel GPU。

  • 2运行时硬件特化

    检测 CPU 指令集、核心数和缓存,JIT 生成专用内核。

  • 3低精度推理

    支持 f32、bf16、f16、f8、f4、u8/s8、u4/s4 及量化方案。

  • 4算子融合

    后置操作融合激活、残差和量化;Graph API 融合 SDPA、GQA 等模式。

  • 5广泛集成

    被 PyTorch、TensorFlow、ONNX Runtime、OpenVINO、llama.cpp 等采用。

适用场景

  • 深度学习框架后端加速

    例如:PyTorch 在 x86 CPU 上调用 oneDNN 执行卷积和矩阵乘。

  • 推理引擎性能优化

    例如:ONNX Runtime 使用 oneDNN 加速模型在 Intel CPU/GPU 上的推理。

  • 低精度模型部署

    例如:使用 bf16 或 f8 量化在 Intel CPU 上运行大语言模型推理。

  • 自定义算子性能调优

    例如:开发者直接调用 oneDNN 原语实现高性能矩阵乘或卷积。

它是怎么工作的

  1. 第 1 步

    选择原语

    根据操作类型(如 matmul、convolution)创建对应的 oneDNN 原语描述。

  2. 第 2 步

    配置属性

    指定数据类型、内存格式、后置操作(激活、量化等)和线程运行时。

  3. 第 3 步

    原语创建

    oneDNN 根据当前硬件特性 JIT 生成或选择优化内核。

  4. 第 4 步

    执行计算

    在指定引擎(CPU 或 GPU)和流上执行原语,完成计算。

快速上手

  1. 1

    安装预编译包

    通过 conda-forge 安装 oneDNN。

    conda install -c conda-forge onednn
  2. 2

    下载示例代码

    获取矩阵乘性能示例源文件。

    wget https://raw.githubusercontent.com/uxlfoundation/oneDNN/main/examples/matmul_perf.cpp https://raw.githubusercontent.com/uxlfoundation/oneDNN/main/examples/example_utils.hpp
  3. 3

    编译示例

    使用 g++ 链接 oneDNN 库编译示例。

    g++ matmul_perf.cpp -I$CONDA_PREFIX/include -L$CONDA_PREFIX/lib -ldnnl -o matmul_perf
  4. 4

    运行示例

    在 CPU 上运行矩阵乘性能测试。

    LD_LIBRARY_PATH=$CONDA_PREFIX/lib ./matmul_perf cpu

适合谁

  • 深度学习框架开发者
  • 推理引擎性能优化工程师
  • 需要在 Intel CPU/GPU 上部署低精度模型的开发者
  • 研究算子级性能优化的 C++ 开发者

不太适合

  • 只想训练或使用模型的普通深度学习用户
  • 不涉及底层性能调优的应用开发者

成熟度

  • 活跃度最近推送在 2026 年 11 月,持续活跃开发。
  • 文档提供开发者指南、API 参考、示例和教程,文档完整。
  • 社区4k+ star、1.2k+ fork,169 个开放 issue,有 Slack 支持渠道。
  • 上手难度作为底层库,API 较复杂,普通开发者应通过框架间接使用。

同类项目怎么选

  • Eigen通用 C++ 模板库,侧重线性代数,不专门针对深度学习算子优化。
  • OpenBLAS专注于 BLAS 线性代数运算,不提供卷积、注意力等深度学习原语。
  • oneMKLIntel 数学核心库,覆盖更广的数学领域,但深度学习算子优化不如 oneDNN 专注。

使用前注意

  • · 采用 Apache-2.0 许可,商用友好。
  • · 主要优化面向 Intel 64/AMD64、AArch64、RISC-V CPU 和 Intel GPU,其他平台支持有限或处于实验阶段。
  • · 直接使用需要 C++ 编程和性能调优经验,普通开发者建议通过 PyTorch 等框架间接使用。
  • · 低精度数据类型(如 f4、f8)的支持依赖具体硬件指令集。

主题标签

onednnoneapiperformancecppx64aarch64amxsyclaceconvolutioninferenceintel-gpullmmatmulmxfp8risc-varmavx10deep-learningx86-64