AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日
用 Rust 实现的本地 OCR/VLM 推理引擎,支持多种模型,提供 CLI 和 OpenAI 兼容服务器,无需 Python。
这是一个用 Rust 重写的 DeepSeek-OCR 推理栈,包含命令行工具和兼容 OpenAI 接口的 HTTP 服务器。它支持 DeepSeek-OCR、PaddleOCR-VL 和 DotsOCR 三种 OCR/VLM 模型,并提供了 DSQ 量化版本,可在 CPU、Apple Metal 或 NVIDIA CUDA(alpha)上本地运行,无需 Python 环境。
推荐指数
适合需要本地部署 OCR 且不想依赖 Python 的开发者,Rust 实现带来部署便利和性能优势,但 CUDA 支持尚在 alpha 阶段。
总 Star 排名
#2173
雷达追踪的 3,958 个 AI 仓库中
创建于
2025
2025年10月25日
核心亮点
1多模型支持
集成 DeepSeek-OCR、PaddleOCR-VL 和 DotsOCR,可根据硬件和精度需求选择。
2无需 Python
纯 Rust 实现,生成单一二进制文件,部署简单,无 Python 运行时依赖。
3OpenAI 兼容
服务器提供 /v1/responses 和 /v1/chat/completions 接口,可直接对接现有 OpenAI 客户端。
4量化支持
提供 Q4_K、Q6_K、Q8_0 等 DSQ 量化版本,降低内存占用。
5跨平台
支持 CPU、Apple Metal(FP16)和 NVIDIA CUDA(alpha),并有预编译二进制。
适用场景
本地文档 OCR 处理
例如:在 MacBook 上使用 CLI 批量识别 PDF 扫描件,提取文字。
搭建私有 OCR API 服务
例如:启动 OpenAI 兼容服务器,让现有应用通过 API 调用本地 OCR 能力。
资源受限环境部署
例如:在 16GB 内存的 CPU 服务器上使用 PaddleOCR-VL 量化版进行表格识别。
需要高精度布局分析
例如:使用 DotsOCR 处理多语言复杂版式文档,获取阅读顺序和 grounding 信息。
它是怎么工作的
第 1 步
选择模型
根据硬件内存和精度需求,从 DeepSeek-OCR、PaddleOCR-VL、DotsOCR 及其量化版本中选择。
第 2 步
下载权重
首次运行时自动从 Hugging Face 或 ModelScope 下载模型权重、配置和 tokenizer。
第 3 步
推理执行
使用 Candle 框架进行张量计算,支持 Metal、CUDA 后端,执行视觉编码和文本解码。
第 4 步
输出结果
通过 CLI 直接输出文本,或通过 HTTP 服务器以 OpenAI 格式返回响应。
快速上手
- 1
安装 Rust
确保 Rust 1.78+ 已安装。
- 2
克隆仓库
获取源代码。
git clone https://github.com/TimmyOVO/deepseek-ocr.rs - 3
构建项目
编译 release 版本(可选启用 Metal 或 CUDA 特性)。
cargo build --release - 4
运行 CLI
使用默认模型对图片进行 OCR(具体命令参考 README)。
适合谁
- 需要本地部署 OCR 且不想依赖 Python 的开发者
- 使用 Rust 技术栈、希望集成 OCR 能力的团队
- 拥有 Apple Silicon 或 NVIDIA GPU、追求推理性能的用户
- 需要 OpenAI 兼容接口以便快速对接现有应用的用户
不太适合
- 需要稳定 CUDA 支持的生产环境用户(目前为 alpha)
- 对 OCR 精度要求极高且不愿调整模型的初学者
- 硬件内存不足(如低于 16GB)的用户
成熟度
- 活跃度最近一次推送在 2026 年 2 月,star 数 2185,issue 16 个,更新较活跃。
- 文档README 详细,包含模型对比、快速开始和量化说明,有中文文档。
- 社区star 和 fork 数中等,issue 较少,社区规模一般。
- 上手难度需要 Rust 环境,CUDA 支持为 alpha,对非 Rust 用户有一定门槛。
同类项目怎么选
- PaddleOCRPython 实现,模型和生态更成熟,但部署需要 Python 环境。
- Tesseract传统 OCR 引擎,轻量但精度较低,不支持 VLM 模型。
- EasyOCRPython 库,易于使用但性能依赖 PyTorch,部署较重。
使用前注意
- · CUDA 支持目前为 alpha 阶段,可能存在不稳定情况。
- · 不同模型对内存要求差异大,需根据硬件选择,例如 DotsOCR 可能需要 30-50GB 内存。
- · 首次运行需下载模型权重,依赖网络连接。
- · Apache-2.0 许可证,允许商业使用,但需注意模型本身的许可证。
