AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
面向生产环境的高性能大模型推理框架,支持多款国产与英伟达 GPU。
赤兔(Chitu)是一个高性能大模型推理框架,强调效率、灵活性和可用性。它定位于生产级推理引擎,支持从纯 CPU、单 GPU 到大规模集群的部署,并适配英伟达及昇腾、沐曦、海光、摩尔线程等国产芯片。
推荐指数
国产芯片适配和集群部署是亮点,适合有生产推理需求且硬件多样的团队。
近 7 天
+2
新增 Star
总 Star 排名
#1772
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年2月20日
核心亮点
1多元算力适配
支持英伟达多系列 GPU 以及昇腾、沐曦、海光、摩尔线程等国产芯片。
2全场景可伸缩
覆盖纯 CPU、单 GPU、多机多实例和 PD 分离等部署形态。
3单文件启动
v0.6.0 提供 chitu.run 可执行文件,可启动多结点、多实例等复杂任务。
4主流模型支持
已适配 DeepSeek、Qwen、GLM、Kimi 等模型,含 DeepSeek-R1 671B。
5量化与异构推理
支持 FP4 在线转 FP8/BF16,以及 CPU+GPU 异构混合推理。
适用场景
国产芯片推理部署
例如:在华为昇腾 910B 上部署 GLM-4.5 MoE 模型提供推理服务。
大规模集群推理
例如:用 chitu.run 启动多结点、多实例的 PD 分离部署。
低资源运行大模型
例如:通过 CPU+GPU 异构混合推理,在单卡上运行 DeepSeek-R1 671B。
企业生产环境服务
例如:承载并发业务流量,长期稳定运行推理服务。
它是怎么工作的
第 1 步
选择部署形态
根据硬件条件选择纯 CPU、单 GPU、多机集群或 PD 分离等模式。
第 2 步
加载模型
框架支持 DeepSeek、Qwen、GLM、Kimi 等模型,并按需进行量化转换。
第 3 步
启动推理服务
通过 chitu.run 可执行文件或开发手册中的方式启动服务。
第 4 步
对外提供接口
以生产级稳定性承载并发请求,供业务系统调用。
快速上手
- 1
下载 chitu.run
从 GitHub Releases 的 Assets 页面下载 chitu.run 可执行文件。
- 2
查看支持模型
参考 docs/zh/SUPPORTED_MODELS.md 确认目标模型是否支持。
- 3
按手册安装使用
阅读 docs/zh/DEVELOPMENT.md 获取完整安装与启动说明。
适合谁
- 需要在国产芯片上部署大模型推理的团队
- 有从单机到集群渐进式部署需求的企业
- 关注 DeepSeek、Qwen、GLM 等模型生产推理的开发者
不太适合
- 只想在个人电脑上快速试玩小模型的用户
- 不需要生产级稳定性和多硬件适配的轻量场景
成熟度
- 活跃度2025 年创建,2026 年 11 月仍有更新,版本迭代频繁。
- 文档有中文开发手册、支持模型列表、性能数据和 FAQ。
- 社区约 3000 star、252 fork,65 个开放 issue,有微信群交流。
- 上手难度推荐用 chitu.run 单文件部署,但完整使用仍需阅读开发手册。
同类项目怎么选
- vLLM社区更大、生态更广,但国产芯片适配不如赤兔全面。
- SGLang同样面向高性能推理,赤兔更强调国产芯片与集群部署。
- TensorRT-LLM主要面向英伟达 GPU,赤兔覆盖更多硬件类型。
使用前注意
- · 采用 Apache-2.0 许可证,但仓库包含第三方子模块,需分别查看其许可证。
- · 不同芯片和模型的适配程度不同,部署前应确认支持列表。
- · 性能数据受硬件配置、软件版本和测试负载影响,需自行验证。
- · 团队表示无法保证及时解决所有用户问题,生产使用需评估支持渠道。
