AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向 CPU 和 Intel GPU 的深度学习算子优化库,为框架提供加速层。
oneDNN 是开源的跨平台深度学习算子库,提供矩阵乘、卷积、注意力、归一化等操作的高度优化实现。它是 PyTorch、TensorFlow、OpenVINO、ONNX Runtime 等框架背后的加速层,支持 Intel 64/AMD64、AArch64、RISC-V CPU 和 Intel GPU。
推荐指数
深度学习框架的底层加速基石,普通开发者应通过框架间接使用,而非直接调用。
近 7 天
+2
新增 Star
总 Star 排名
#1445
雷达追踪的 3,958 个 AI 仓库中
创建于
2016
2016年5月10日
核心亮点
1多架构支持
同一套 API 覆盖 x64、AArch64、RISC-V CPU 和 Intel GPU。
2运行时硬件特化
检测 CPU 指令集、核心数和缓存,JIT 生成专用内核。
3低精度推理
支持 f32、bf16、f16、f8、f4、u8/s8、u4/s4 及量化方案。
4算子融合
后置操作融合激活、残差和量化;Graph API 融合 SDPA、GQA 等模式。
5广泛集成
被 PyTorch、TensorFlow、ONNX Runtime、OpenVINO、llama.cpp 等采用。
适用场景
深度学习框架后端加速
例如:PyTorch 在 x86 CPU 上调用 oneDNN 执行卷积和矩阵乘。
推理引擎性能优化
例如:ONNX Runtime 使用 oneDNN 加速模型在 Intel CPU/GPU 上的推理。
低精度模型部署
例如:使用 bf16 或 f8 量化在 Intel CPU 上运行大语言模型推理。
自定义算子性能调优
例如:开发者直接调用 oneDNN 原语实现高性能矩阵乘或卷积。
它是怎么工作的
第 1 步
选择原语
根据操作类型(如 matmul、convolution)创建对应的 oneDNN 原语描述。
第 2 步
配置属性
指定数据类型、内存格式、后置操作(激活、量化等)和线程运行时。
第 3 步
原语创建
oneDNN 根据当前硬件特性 JIT 生成或选择优化内核。
第 4 步
执行计算
在指定引擎(CPU 或 GPU)和流上执行原语,完成计算。
快速上手
- 1
安装预编译包
通过 conda-forge 安装 oneDNN。
conda install -c conda-forge onednn - 2
下载示例代码
获取矩阵乘性能示例源文件。
wget https://raw.githubusercontent.com/uxlfoundation/oneDNN/main/examples/matmul_perf.cpp https://raw.githubusercontent.com/uxlfoundation/oneDNN/main/examples/example_utils.hpp - 3
编译示例
使用 g++ 链接 oneDNN 库编译示例。
g++ matmul_perf.cpp -I$CONDA_PREFIX/include -L$CONDA_PREFIX/lib -ldnnl -o matmul_perf - 4
运行示例
在 CPU 上运行矩阵乘性能测试。
LD_LIBRARY_PATH=$CONDA_PREFIX/lib ./matmul_perf cpu
适合谁
- 深度学习框架开发者
- 推理引擎性能优化工程师
- 需要在 Intel CPU/GPU 上部署低精度模型的开发者
- 研究算子级性能优化的 C++ 开发者
不太适合
- 只想训练或使用模型的普通深度学习用户
- 不涉及底层性能调优的应用开发者
成熟度
- 活跃度最近推送在 2026 年 11 月,持续活跃开发。
- 文档提供开发者指南、API 参考、示例和教程,文档完整。
- 社区4k+ star、1.2k+ fork,169 个开放 issue,有 Slack 支持渠道。
- 上手难度作为底层库,API 较复杂,普通开发者应通过框架间接使用。
同类项目怎么选
- Eigen通用 C++ 模板库,侧重线性代数,不专门针对深度学习算子优化。
- OpenBLAS专注于 BLAS 线性代数运算,不提供卷积、注意力等深度学习原语。
- oneMKLIntel 数学核心库,覆盖更广的数学领域,但深度学习算子优化不如 oneDNN 专注。
使用前注意
- · 采用 Apache-2.0 许可,商用友好。
- · 主要优化面向 Intel 64/AMD64、AArch64、RISC-V CPU 和 Intel GPU,其他平台支持有限或处于实验阶段。
- · 直接使用需要 C++ 编程和性能调优经验,普通开发者建议通过 PyTorch 等框架间接使用。
- · 低精度数据类型(如 f4、f8)的支持依赖具体硬件指令集。
