EricLBuehler GitHub avatar

mistral.rs

Rust
Rust 大模型推理引擎EricLBuehler最近推送 2026年11月9日
模型推理与部署MIT7,849769431 issues7 天 +19

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日

用 Rust 写的高性能 LLM 推理引擎,支持多模态和多种量化格式。

mistral.rs 是一个用 Rust 实现的快速、灵活的 LLM 推理项目,提供 Rust SDK、Python SDK 和命令行工具。它能自动识别 Hugging Face 模型和 GGUF 文件的架构、权重格式与对话模板,并支持文本、图像、视频、音频等多模态推理。

推荐指数

4.0

性能数据亮眼、功能覆盖广,适合愿意折腾本地推理的开发者。

近 7 天

+19

新增 Star

总 Star 排名

#842

雷达追踪的 3,958 个 AI 仓库中

创建于

2024

2024年2月27日

核心亮点

  • 1Rust 高性能

    README 基准显示 Q8 预填充吞吐明显高于 llama.cpp。

  • 2多模态支持

    文本、图像、视频、音频、语音生成和嵌入在同一引擎内。

  • 3自动加载模型

    自动识别架构、权重格式和对话模板,也支持手动指定。

  • 4量化选择

    支持 GGUF、UQFF 和 ISQ,可用 --quant 选择匹配的量化产物。

  • 5兼容 OpenAI 与 Anthropic

    serve 同时暴露 /v1 和 /v1/messages 接口,可接 Claude Code 等编码代理。

适用场景

  • 本地部署推理服务

    例如:用 mistralrs serve 启动服务,通过 OpenAI 兼容接口调用本地模型。

  • 多模态应用开发

    例如:用 Python SDK 加载支持图像和视频输入的模型做内容理解。

  • 量化模型测试

    例如:用 --quant 加载 GGUF 或 UQFF 量化版本,对比不同精度下的速度。

  • 编码代理后端

    例如:把 Claude Code 或 Codex 指向本地 mistralrs 服务,用本地模型驱动。

它是怎么工作的

  1. 第 1 步

    加载模型

    从 Hugging Face 仓库或本地 GGUF 文件读取模型,自动识别架构和模板。

  2. 第 2 步

    量化处理

    按需选择 GGUF、UQFF 预构建产物,或运行时应用 ISQ 量化。

  3. 第 3 步

    执行推理

    使用 paged attention、分块预填充等机制在 GPU 上生成结果。

  4. 第 4 步

    对外服务

    通过 CLI、Rust/Python SDK 或 HTTP 服务接口提供推理能力。

快速上手

  1. 1

    安装

    从 crates.io 获取 Rust SDK,或按文档安装 Python SDK。

  2. 2

    启动服务

    运行 serve 子命令启动本地 HTTP 推理服务。

    mistralrs serve
  3. 3

    加载 GGUF

    用 -f 指定本地 GGUF 文件,或用 --quant 选择已发布量化产物。

  4. 4

    调用接口

    通过 OpenAI 兼容的 /v1 接口或内置 /ui 页面使用模型。

适合谁

  • 需要本地或自托管 LLM 推理的开发者
  • 关注推理性能与量化的 Rust/Python 用户
  • 需要多模态或编码代理后端的团队

不太适合

  • 只想调用云端 API、不想维护环境的用户
  • 不熟悉模型权重和量化概念的新手

成熟度

  • 活跃度最近更新在 2026 年 11 月,版本迭代频繁。
  • 文档有独立文档站、快速开始、模型列表和升级指南。
  • 社区约 7800 star、768 fork,有 Discord 社区。
  • 上手难度功能多、选项多,量化与设备配置需要一定学习成本。

同类项目怎么选

  • llama.cppC++ 实现,GGUF 生态更成熟,README 基准中 mistral.rs 的 Q8 预填充更快。
  • vLLMPython 为主,偏服务端高吞吐;README 基准显示两者 BF16 表现互有高低。
  • Ollama更偏开箱即用的本地运行体验,mistral.rs 更偏 SDK 和可配置推理。

使用前注意

  • · 采用 MIT 许可,商用前仍需自行确认模型权重许可。
  • · README 基准数据来自特定硬件和版本,实际性能需自行测试。
  • · v0.9.5 起 paged attention 默认开启,内存与设备映射选项有变化,升级需看指南。
  • · 开放 issue 约 426 个,遇到问题可能需要自行排查。

主题标签

llmrustuqff