floneum GitHub avatar

kalosm

Rust
Rust本地模型工具floneum最近推送 2026年10月25日
模型推理与部署Apache-2.02,23713454 issues

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

用 Rust 在本地运行大语言模型、语音转写和图像分割等预训练模型的库。

Kalosm 是一组 Rust crate,让开发者能在自己的应用中调用本地或远程的预训练 AI 模型。仓库包含两个项目:Kalosm 提供语言、音频、图像模型的统一接口;Fusor 是它底层的 CPU/WebGPU 量化推理运行时,目前仍在早期开发阶段。

推荐指数

4.0

想在 Rust 项目里本地跑 LLM 或语音模型,这是目前接口较完整的选择之一。

总 Star 排名

#2141

雷达追踪的 3,958 个 AI 仓库中

创建于

2023

2023年5月25日

核心亮点

  • 1多模态模型支持

    覆盖 Llama、Mistral、Phi、Whisper、Segment Anything、Bert 等文本、音频、图像模型。

  • 2结构化生成

    用 derive 宏给 Rust 类型加约束,让模型按正则或语法输出 JSON 等固定结构。

  • 3本地推理

    模型在本地运行,支持量化与 GPU 加速,不依赖外部 API。

  • 4配套工具

    提供文档抽取、分块、向量检索、音频转写和网页抓取等示例。

  • 5Rust 原生接口

    以 crate 形式集成,用 cargo 添加依赖即可调用。

适用场景

  • 本地聊天应用

    例如:用 Llama::phi_3() 加载 Phi-3,加上系统提示词做一个命令行聊天机器人。

  • 语音转写

    例如:用 Whisper 把麦克风或音频文件实时转成文字。

  • 结构化数据生成

    例如:定义 Character 结构体,让模型批量生成符合字段约束的 JSON 角色数据。

  • 语义检索

    例如:抽取文档内容并分块,用 Bert 向量配合向量库做相关上下文搜索。

它是怎么工作的

  1. 第 1 步

    加载模型

    通过 Kalosm 的模型接口下载并加载本地预训练模型,如 Llama、Whisper。

  2. 第 2 步

    构建任务

    用 model.task() 或 model.chat() 设置提示词和约束条件。

  3. 第 3 步

    约束生成

    结构化生成时,解析器和采样器按类型规则限制输出内容。

  4. 第 4 步

    底层推理

    Fusor 运行时加载 GGUF 模型,把算子链编译融合后在 CPU 或 WebGPU 上执行。

快速上手

  1. 1

    创建项目

    新建 Rust 项目并进入目录。

    cargo new kalosm-hello-world && cd ./kalosm-hello-world
  2. 2

    添加依赖

    引入 kalosm 的 llama 特性和 tokio。

    cargo add kalosm --features llama && cargo add tokio --features full
  3. 3

    编写聊天代码

    在 main.rs 中加载 Phi-3 模型并循环读取输入、输出回复。

  4. 4

    运行

    以 release 模式编译运行。

    cargo run --release

适合谁

  • 使用 Rust 开发应用的工程师
  • 需要本地或离线运行模型的开发者
  • 需要结构化输出或语音转写的项目

不太适合

  • 不熟悉 Rust 的开发者
  • 需要生产级稳定推理后端的团队

成熟度

  • 活跃度最近一次推送在 2026 年 10 月,仍在持续维护。
  • 文档有官网指南、docs.rs 文档和大量示例代码。
  • 社区约 2200 star、134 fork,有 Discord 社区,规模中等。
  • 上手难度cargo 集成简单,但需自行处理模型下载和 Rust 异步编程。

同类项目怎么选

  • llama.cppC/C++ 推理引擎,Kalosm 在其之上提供 Rust 高层接口并整合多种模型。
  • candleHugging Face 的 Rust 推理框架,偏底层张量计算,Kalosm 更偏开箱即用的模型接口。
  • ollama以独立服务和命令行方式提供本地模型,Kalosm 是嵌入 Rust 代码的库。

使用前注意

  • · 采用 Apache-2.0 许可,商用需遵守许可条款。
  • · Fusor 运行时仍在早期开发,README 明确说明不适合生产使用。
  • · 本地运行大模型对内存和显存有要求,模型体积从数百 MB 到数十 GB。
  • · GPU 加速依赖 WebGPU 等环境支持,不同平台表现可能不同。

主题标签

aillmrustllamacppkalosmcandlellamamistralfloneum-v3dioxusconstrained-generationtranscriptionwhisper