AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用 Rust 在本地运行大语言模型、语音转写和图像分割等预训练模型的库。
Kalosm 是一组 Rust crate,让开发者能在自己的应用中调用本地或远程的预训练 AI 模型。仓库包含两个项目:Kalosm 提供语言、音频、图像模型的统一接口;Fusor 是它底层的 CPU/WebGPU 量化推理运行时,目前仍在早期开发阶段。
推荐指数
想在 Rust 项目里本地跑 LLM 或语音模型,这是目前接口较完整的选择之一。
总 Star 排名
#2141
雷达追踪的 3,958 个 AI 仓库中
创建于
2023
2023年5月25日
核心亮点
1多模态模型支持
覆盖 Llama、Mistral、Phi、Whisper、Segment Anything、Bert 等文本、音频、图像模型。
2结构化生成
用 derive 宏给 Rust 类型加约束,让模型按正则或语法输出 JSON 等固定结构。
3本地推理
模型在本地运行,支持量化与 GPU 加速,不依赖外部 API。
4配套工具
提供文档抽取、分块、向量检索、音频转写和网页抓取等示例。
5Rust 原生接口
以 crate 形式集成,用 cargo 添加依赖即可调用。
适用场景
本地聊天应用
例如:用 Llama::phi_3() 加载 Phi-3,加上系统提示词做一个命令行聊天机器人。
语音转写
例如:用 Whisper 把麦克风或音频文件实时转成文字。
结构化数据生成
例如:定义 Character 结构体,让模型批量生成符合字段约束的 JSON 角色数据。
语义检索
例如:抽取文档内容并分块,用 Bert 向量配合向量库做相关上下文搜索。
它是怎么工作的
第 1 步
加载模型
通过 Kalosm 的模型接口下载并加载本地预训练模型,如 Llama、Whisper。
第 2 步
构建任务
用 model.task() 或 model.chat() 设置提示词和约束条件。
第 3 步
约束生成
结构化生成时,解析器和采样器按类型规则限制输出内容。
第 4 步
底层推理
Fusor 运行时加载 GGUF 模型,把算子链编译融合后在 CPU 或 WebGPU 上执行。
快速上手
- 1
创建项目
新建 Rust 项目并进入目录。
cargo new kalosm-hello-world && cd ./kalosm-hello-world - 2
添加依赖
引入 kalosm 的 llama 特性和 tokio。
cargo add kalosm --features llama && cargo add tokio --features full - 3
编写聊天代码
在 main.rs 中加载 Phi-3 模型并循环读取输入、输出回复。
- 4
运行
以 release 模式编译运行。
cargo run --release
适合谁
- 使用 Rust 开发应用的工程师
- 需要本地或离线运行模型的开发者
- 需要结构化输出或语音转写的项目
不太适合
- 不熟悉 Rust 的开发者
- 需要生产级稳定推理后端的团队
成熟度
- 活跃度最近一次推送在 2026 年 10 月,仍在持续维护。
- 文档有官网指南、docs.rs 文档和大量示例代码。
- 社区约 2200 star、134 fork,有 Discord 社区,规模中等。
- 上手难度cargo 集成简单,但需自行处理模型下载和 Rust 异步编程。
同类项目怎么选
- llama.cppC/C++ 推理引擎,Kalosm 在其之上提供 Rust 高层接口并整合多种模型。
- candleHugging Face 的 Rust 推理框架,偏底层张量计算,Kalosm 更偏开箱即用的模型接口。
- ollama以独立服务和命令行方式提供本地模型,Kalosm 是嵌入 Rust 代码的库。
使用前注意
- · 采用 Apache-2.0 许可,商用需遵守许可条款。
- · Fusor 运行时仍在早期开发,README 明确说明不适合生产使用。
- · 本地运行大模型对内存和显存有要求,模型体积从数百 MB 到数十 GB。
- · GPU 加速依赖 WebGPU 等环境支持,不同平台表现可能不同。
