tenstorrent GitHub avatar

tt-metal

Python
AI 加速器计算库tenstorrent最近推送 2026年11月19日
模型推理与部署Apache-2.0133618,081 issues7 天 +10

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

Tenstorrent 加速器的神经网络算子库与底层内核编程模型。

这是 Tenstorrent 官方维护的软件栈,包含两层:TT-NN 是 Python 与 C++ 的神经网络算子库,TT-Metalium 是面向其加速器的低层内核编程模型。仓库同时提供 Llama、Qwen、Mixtral、Whisper 等模型的移植示例与性能数据,用于在 Tenstorrent 硬件上构建和优化 AI 工作负载。

推荐指数

3.0

面向 Tenstorrent 硬件的官方核心库,模型与文档较全,但强绑定专用加速器且 issue 积压严重。

近 7 天

+10

新增 Star

总 Star 排名

#3958

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年2月13日

核心亮点

  • 1双层软件栈

    上层 TT-NN 算子库,下层 TT-Metalium 内核编程模型。

  • 2多模型示例

    README 列出 Llama 3.3 70B、Qwen 2.5、Mixtral、Whisper 等演示。

  • 3性能数据公开

    给出 TTFT、T/S/U、T/S 等指标及对应硬件与版本。

  • 4技术报告

    提供 LLM、CNN、ViT 移植与 CCL 调优等文档。

  • 5Apache-2.0

    采用宽松开源许可,便于商用集成。

适用场景

  • 在 Tenstorrent 卡上跑大模型推理

    例如:按 README 的 Llama 3.3 70B 演示在 Galaxy 上部署并测吞吐。

  • 开发自定义加速器算子

    例如:用 TT-Metalium 编写内核,再通过 TT-NN 暴露为算子。

  • 模型移植与性能调优

    例如:参照 LLM/CNN 技术报告把新模型移植到 TT-NN。

它是怎么工作的

  1. 第 1 步

    安装环境

    按 INSTALLING.md 配置驱动与依赖。

  2. 第 2 步

    调用算子

    用 TT-NN 的 Python/C++ API 搭建网络。

  3. 第 3 步

    下沉内核

    需要时用 TT-Metalium 编写底层内核。

  4. 第 4 步

    运行模型

    使用 models/demos 下的示例验证与测性能。

快速上手

  1. 1

    阅读安装文档

    先按 INSTALLING.md 准备硬件与依赖。

  2. 2

    查看模型演示

    从 models/demos 选一个模型跑通。

  3. 3

    查阅 API

    对照 TT-NN API Reference 写代码。

适合谁

  • 使用 Tenstorrent 加速器的开发者
  • 做算子与内核开发的工程师
  • 在专用硬件上部署 LLM 的团队

不太适合

  • 没有 Tenstorrent 硬件的开发者
  • 只想用通用 GPU 的用户

成熟度

  • 活跃度最近更新在 2026-11,持续活跃。
  • 文档有安装文档、API 参考、技术报告和模型演示。
  • 社区star 仅 128,但开放 issue 达 8086,积压明显。
  • 上手难度强绑定专用硬件,需按文档配置环境。

同类项目怎么选

  • vLLM通用 GPU 推理服务框架,Tenstorrent 另有其插件适配。
  • CUDANVIDIA 的底层编程模型,与本项目硬件平台不同。

使用前注意

  • · 仅支持 Tenstorrent 自家加速器,无对应硬件无法运行。
  • · 开放 issue 数量很大,遇到问题不一定能及时得到回应。
  • · Blackhole 平台的软件优化仍在进行中。
  • · 性能数据来自官方演示,换运行时结果可能不同。

主题标签

llamallmmetalstable-diffusiontenstorrentacceleratorscale-outkernelsaideepseekgpuimg-genvideo-gencuda