lightseekorg GitHub avatar

tokenspeed

Python
高速大模型推理引擎lightseekorg最近推送 2026年11月19日
模型推理与部署MIT2,936421113 issues7 天 +17

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

面向智能体负载的高性能 LLM 推理引擎,兼顾 TensorRT-LLM 级性能与 vLLM 级易用性。

TokenSpeed 是 LightSeek 基金会开源的 LLM 推理引擎,仓库简介称其为 speed-of-light LLM inference engine,目标是为生产环境的智能体(agentic)负载提供最高性能。它把控制面用 C++ 写成有限状态机、执行面用 Python,并把 kernel 做成可插拔的独立子系统。

推荐指数

4.0

架构思路清晰、硬件厂商支持到位,适合追求智能体场景吞吐的团队评估,但生态与文档仍在早期。

近 7 天

+17

新增 Star

总 Star 排名

#1802

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年5月6日

核心亮点

  • 1控制执行分离

    C++ 控制面以有限状态机管理请求生命周期与 KV cache,Python 执行面负责快速迭代。

  • 2编译期安全

    借助类型系统在编译期约束 KV 资源复用,而非运行时检查。

  • 3Kernel 可插拔

    kernel 通过公开 API 与注册表独立于引擎,支持异构加速器插件。

  • 4MLA 优化

    提供面向 Blackwell 的 MLA 实现,并针对智能体负载调优。

  • 5中立基金会

    由非营利的 LightSeek 基金会支持,获 NVIDIA、AMD 等厂商工程支持。

适用场景

  • 智能体服务部署

    例如:在生产环境部署 Kimi、Qwen 等模型的 agent 推理服务,追求单卡输出吞吐。

  • 新模型快速上线

    例如:新模型发布当天按官方 recipe 在 GB300 上完成部署验证。

  • 多硬件适配

    例如:同一引擎在 NVIDIA Blackwell 与 AMD MI355X 上分别跑推理基准。

它是怎么工作的

  1. 第 1 步

    接收请求

    SMG、Dynamo 等入口以 Rust 通过 msgpack 协议驱动引擎,请求路径不经过 Python。

  2. 第 2 步

    调度控制

    C++ 控制面用有限状态机管理请求生命周期与 KV cache 归属及重叠时序。

  3. 第 3 步

    执行推理

    Python 执行面调用注册表中的 kernel 完成计算,kernel 可按硬件选择。

  4. 第 4 步

    资源复用

    KV 资源的复用由类型系统在编译期保证安全。

快速上手

  1. 1

    阅读文档

    从官方文档索引与入门指南开始,确认硬件与模型支持情况。

  2. 2

    启动服务

    参照 Launching a Server 指南拉起推理服务。

  3. 3

    按模型配方部署

    使用对应模型的 recipe 完成配置与启动。

适合谁

  • 需要高吞吐智能体推理的生产团队
  • 使用 Blackwell 或 MI355X 等新硬件的部署者
  • 关注推理引擎架构的工程师

不太适合

  • 只有消费级显卡的个人开发者
  • 需要成熟稳定生态与大量社区案例的团队

成熟度

  • 活跃度2026 年 5 月创建,11 月仍有推送,新闻更新频繁。
  • 文档README 以新闻和链接为主,细节需跳转外部文档站。
  • 社区约 2900 star、416 fork,91 个开放 issue,尚在成长。
  • 上手难度依赖新硬件与多语言组件,README 未给出一行式安装命令。

同类项目怎么选

  • vLLM生态与易用性更成熟,但控制面与执行面未做分离。
  • TensorRT-LLM性能对标对象,偏 NVIDIA 平台且上手门槛更高。

使用前注意

  • · 采用 MIT 许可,商用前仍需自行核对依赖许可。
  • · 性能数据多基于 GB300、B200、MI355X 等新硬件,普通设备难以复现。
  • · 项目创建不足一年,接口与部署方式可能变化。
  • · 入口依赖 Rust 组件,部署链路比纯 Python 引擎更复杂。

主题标签

deepseekkimilightseekllmminimaxqwenspeed-of-lighttokenspeedblackwellglmvlminklingb200b300gb200gb300mi355xmi455xrubinmuse-spark