Interactive-Active-AI GitHub avatar

NextTransformer

Python
下一代 Transformer 框架Interactive-Active-AI最近推送 2026年11月17日
训练与微调MIT4814011 issues7 天 +77

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

在固定算力下公平比较多种 Transformer 架构的开源框架与基准平台。

NextTransformer 是一个面向下一代 Transformer 与大模型的开源框架,提供统一的训练器、数据管线和评估流程。它内置算力对齐的基准测试协议,让不同架构在相同数据、相同 token 数和相同训练 FLOPs 下比较,并附带一个可让 AI 代理参与架构研究的平台。

推荐指数

4.0

适合做架构对比实验的研究者,协议严谨、工具完整,但偏研究向,普通应用开发者用不上。

近 7 天

+77

新增 Star

总 Star 排名

#3676

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月31日

核心亮点

  • 1统一架构框架

    GQA、NSA、MoBA、GDN、KDA、Ouro、AttnRes 等模型共用同一训练器与评估。

  • 2算力对齐协议

    相同数据、token 数、优化器和调度,训练算力匹配到 1% 以内并全程审计。

  • 3可复现基准

    每个结果都有文件记录,提供学习曲线、排行榜和模型卡片。

  • 4代理研究平台

    AI 代理可在同一规则下研究新架构,Arena v2 计划支持自主研究。

  • 52K 扩展研究

    固定算力下对 Dense、MoE、KDA–DSA 和 Fixed Recursive 做深度扫描。

适用场景

  • 架构对比实验

    例如:在相同 token 预算下比较 GQA 与 GDN 的验证损失曲线。

  • 复现基准结果

    例如:按协议复现排行榜中某个模型的训练结果并核对算力审计。

  • 代理架构搜索

    例如:让 AI 代理在 Arena 任务中提出并训练新的注意力变体。

  • 教学与研究

    例如:用统一框架讲解不同注意力机制在同等算力下的表现差异。

它是怎么工作的

  1. 第 1 步

    选择架构

    从模型库中挑选或组合注意力、稀疏、线性、循环等结构。

  2. 第 2 步

    固定协议训练

    使用相同数据、token 数、优化器和调度进行训练,算力匹配并审计。

  3. 第 3 步

    统一评估

    在相同检查点用 CORE 任务等指标评估各模型。

  4. 第 4 步

    记录与展示

    结果写入文件记录,并在 observatory 中展示学习曲线和排行榜。

快速上手

  1. 1

    阅读文档

    先看官方文档了解协议、模型库和评估方式。

  2. 2

    安装环境

    按 README 要求准备 Python 3.10–3.13 和 PyTorch 2.9.1。

  3. 3

    运行示例

    参考文档中的快速开始命令训练一个模型。

  4. 4

    查看结果

    在 observatory 中对比学习曲线和排行榜。

适合谁

  • 研究 Transformer 架构的高校或实验室研究者
  • 需要公平对比不同注意力机制的算法工程师
  • 对 AI 代理自动架构研究感兴趣的人

不太适合

  • 只想调用现成 LLM API 做应用的开发者
  • 需要开箱即用产品级训练管线的团队

成熟度

  • 活跃度2026 年 10 月底开源,11 月中旬仍有更新,处于活跃早期。
  • 文档有独立文档站、协议说明、模型库和博客,内容较完整。
  • 社区469 star、37 fork,有 Discord 和讨论区,规模尚小。
  • 上手难度面向研究实验,需要理解算力对齐协议和训练配置,上手门槛较高。

同类项目怎么选

  • Hugging Face Transformers侧重模型库和易用性,不提供算力对齐的架构对比协议。
  • Megatron-LM侧重大规模分布式训练效率,不是架构公平比较平台。
  • nanoGPT极简教学实现,不包含多架构基准和代理研究平台。

使用前注意

  • · 项目较新,API 和协议可能随研究进展调整。
  • · 训练需要一定算力预算,README 中单次运行达 10²⁰ FLOPs 量级。
  • · 主要面向架构研究,不是直接用于产品部署的推理框架。
  • · 采用 MIT 许可,商用前仍需自行核对依赖和模型权重条款。

主题标签

auto-researchdeep-learninglanguage-modelslinear-attentionllmlooped-transformerpytorchsparse-attentiontransformernexttransformer