thu-pacman GitHub avatar

chitu

Python
赤兔大模型推理框架thu-pacman最近推送 2026年11月18日
模型推理与部署Apache-2.03,00225266 issues7 天 +2

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

面向生产环境的高性能大模型推理框架,支持多款国产与英伟达 GPU。

赤兔(Chitu)是一个高性能大模型推理框架,强调效率、灵活性和可用性。它定位于生产级推理引擎,支持从纯 CPU、单 GPU 到大规模集群的部署,并适配英伟达及昇腾、沐曦、海光、摩尔线程等国产芯片。

推荐指数

4.0

国产芯片适配和集群部署是亮点,适合有生产推理需求且硬件多样的团队。

近 7 天

+2

新增 Star

总 Star 排名

#1772

雷达追踪的 3,958 个 AI 仓库中

创建于

2025

2025年2月20日

核心亮点

  • 1多元算力适配

    支持英伟达多系列 GPU 以及昇腾、沐曦、海光、摩尔线程等国产芯片。

  • 2全场景可伸缩

    覆盖纯 CPU、单 GPU、多机多实例和 PD 分离等部署形态。

  • 3单文件启动

    v0.6.0 提供 chitu.run 可执行文件,可启动多结点、多实例等复杂任务。

  • 4主流模型支持

    已适配 DeepSeek、Qwen、GLM、Kimi 等模型,含 DeepSeek-R1 671B。

  • 5量化与异构推理

    支持 FP4 在线转 FP8/BF16,以及 CPU+GPU 异构混合推理。

适用场景

  • 国产芯片推理部署

    例如:在华为昇腾 910B 上部署 GLM-4.5 MoE 模型提供推理服务。

  • 大规模集群推理

    例如:用 chitu.run 启动多结点、多实例的 PD 分离部署。

  • 低资源运行大模型

    例如:通过 CPU+GPU 异构混合推理,在单卡上运行 DeepSeek-R1 671B。

  • 企业生产环境服务

    例如:承载并发业务流量,长期稳定运行推理服务。

它是怎么工作的

  1. 第 1 步

    选择部署形态

    根据硬件条件选择纯 CPU、单 GPU、多机集群或 PD 分离等模式。

  2. 第 2 步

    加载模型

    框架支持 DeepSeek、Qwen、GLM、Kimi 等模型,并按需进行量化转换。

  3. 第 3 步

    启动推理服务

    通过 chitu.run 可执行文件或开发手册中的方式启动服务。

  4. 第 4 步

    对外提供接口

    以生产级稳定性承载并发请求,供业务系统调用。

快速上手

  1. 1

    下载 chitu.run

    从 GitHub Releases 的 Assets 页面下载 chitu.run 可执行文件。

  2. 2

    查看支持模型

    参考 docs/zh/SUPPORTED_MODELS.md 确认目标模型是否支持。

  3. 3

    按手册安装使用

    阅读 docs/zh/DEVELOPMENT.md 获取完整安装与启动说明。

适合谁

  • 需要在国产芯片上部署大模型推理的团队
  • 有从单机到集群渐进式部署需求的企业
  • 关注 DeepSeek、Qwen、GLM 等模型生产推理的开发者

不太适合

  • 只想在个人电脑上快速试玩小模型的用户
  • 不需要生产级稳定性和多硬件适配的轻量场景

成熟度

  • 活跃度2025 年创建,2026 年 11 月仍有更新,版本迭代频繁。
  • 文档有中文开发手册、支持模型列表、性能数据和 FAQ。
  • 社区约 3000 star、252 fork,65 个开放 issue,有微信群交流。
  • 上手难度推荐用 chitu.run 单文件部署,但完整使用仍需阅读开发手册。

同类项目怎么选

  • vLLM社区更大、生态更广,但国产芯片适配不如赤兔全面。
  • SGLang同样面向高性能推理,赤兔更强调国产芯片与集群部署。
  • TensorRT-LLM主要面向英伟达 GPU,赤兔覆盖更多硬件类型。

使用前注意

  • · 采用 Apache-2.0 许可证,但仓库包含第三方子模块,需分别查看其许可证。
  • · 不同芯片和模型的适配程度不同,部署前应确认支持列表。
  • · 性能数据受硬件配置、软件版本和测试负载影响,需自行验证。
  • · 团队表示无法保证及时解决所有用户问题,生产使用需评估支持渠道。

主题标签

deepseekgpullmpytorchllm-servingmodel-serving