AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
Tenstorrent 加速器的神经网络算子库与底层内核编程模型。
这是 Tenstorrent 官方维护的软件栈,包含两层:TT-NN 是 Python 与 C++ 的神经网络算子库,TT-Metalium 是面向其加速器的低层内核编程模型。仓库同时提供 Llama、Qwen、Mixtral、Whisper 等模型的移植示例与性能数据,用于在 Tenstorrent 硬件上构建和优化 AI 工作负载。
推荐指数
面向 Tenstorrent 硬件的官方核心库,模型与文档较全,但强绑定专用加速器且 issue 积压严重。
近 7 天
+10
新增 Star
总 Star 排名
#3958
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年2月13日
核心亮点
1双层软件栈
上层 TT-NN 算子库,下层 TT-Metalium 内核编程模型。
2多模型示例
README 列出 Llama 3.3 70B、Qwen 2.5、Mixtral、Whisper 等演示。
3性能数据公开
给出 TTFT、T/S/U、T/S 等指标及对应硬件与版本。
4技术报告
提供 LLM、CNN、ViT 移植与 CCL 调优等文档。
5Apache-2.0
采用宽松开源许可,便于商用集成。
适用场景
在 Tenstorrent 卡上跑大模型推理
例如:按 README 的 Llama 3.3 70B 演示在 Galaxy 上部署并测吞吐。
开发自定义加速器算子
例如:用 TT-Metalium 编写内核,再通过 TT-NN 暴露为算子。
模型移植与性能调优
例如:参照 LLM/CNN 技术报告把新模型移植到 TT-NN。
它是怎么工作的
第 1 步
安装环境
按 INSTALLING.md 配置驱动与依赖。
第 2 步
调用算子
用 TT-NN 的 Python/C++ API 搭建网络。
第 3 步
下沉内核
需要时用 TT-Metalium 编写底层内核。
第 4 步
运行模型
使用 models/demos 下的示例验证与测性能。
快速上手
- 1
阅读安装文档
先按 INSTALLING.md 准备硬件与依赖。
- 2
查看模型演示
从 models/demos 选一个模型跑通。
- 3
查阅 API
对照 TT-NN API Reference 写代码。
适合谁
- 使用 Tenstorrent 加速器的开发者
- 做算子与内核开发的工程师
- 在专用硬件上部署 LLM 的团队
不太适合
- 没有 Tenstorrent 硬件的开发者
- 只想用通用 GPU 的用户
成熟度
- 活跃度最近更新在 2026-11,持续活跃。
- 文档有安装文档、API 参考、技术报告和模型演示。
- 社区star 仅 128,但开放 issue 达 8086,积压明显。
- 上手难度强绑定专用硬件,需按文档配置环境。
同类项目怎么选
- vLLM通用 GPU 推理服务框架,Tenstorrent 另有其插件适配。
- CUDANVIDIA 的底层编程模型,与本项目硬件平台不同。
使用前注意
- · 仅支持 Tenstorrent 自家加速器,无对应硬件无法运行。
- · 开放 issue 数量很大,遇到问题不一定能及时得到回应。
- · Blackhole 平台的软件优化仍在进行中。
- · 性能数据来自官方演示,换运行时结果可能不同。
