AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月17日
在 Node.js 里本地运行 Laya 决策模型,一次前向传播输出带概率的分类、评分和是/否判断。
这是 Convai Innovations 开源 Laya 模型的 Node.js/TypeScript 封装。Laya 是兼容 Jev 的 System-1 决策模型,不生成文本,而是接收状态(工单、邮件、JSON)和带类型的问题,返回每个答案及其校准概率。该包用 ONNX Runtime 推理,运行时不需要 PyTorch 和 Python,接口与 Python 参考实现一致。
推荐指数
适合需要在 Node 服务里做本地结构化判断的团队,接口清晰、无需 Python,但要接受约 1.7GB 权重和 2GB 内存开销。
近 7 天
+21
新增 Star
总 Star 排名
#3340
雷达追踪的 3,958 个 AI 仓库中
创建于
2026
2026年9月19日
核心亮点
1一次前向出结果
一个状态加多个问题合并成一次推理,三个问题在 Apple 芯片上约 140ms。
2三种问题类型
choice 选项分类、score 有序评分、noul 是/否概率,均带校准置信度。
3无需 Python
用 ONNX Runtime 跑推理,运行时只依赖 Node.js 20 及以上。
4与参考实现对齐
请求响应结构与 Python 版一致,输出精度对齐到小数点后四位。
5类型安全
答案类型跟随问题类型推导,无需类型断言。
适用场景
工单自动分派
例如:把退款投诉工单交给模型,输出应归哪个部门及各部门概率。
内容风险判断
例如:对用户消息问“是否可能引发纠纷”,拿到校准后的 P(true)。
批量结构化打标
例如:对一批 JSON 记录同时问分类、紧急度和流失风险三类问题。
它是怎么工作的
第 1 步
加载模型
首次调用 Laya.load() 从 Hugging Face 下载约 1.7GB 的 fp32 ONNX 权重并缓存到本地。
第 2 步
组装请求
传入状态对象和带类型的问题定义,包括选项、评分档位或判断语句。
第 3 步
批量推理
所有问题合并为一次 ONNX 前向传播,状态截断到 512 token。
第 4 步
返回答案
按问题类型返回选项、期望分值和概率分布,并附带 answer_confidence。
快速上手
- 1
安装
需要 Node.js 20 或更新版本。
npm install @receptron/laya - 2
预下载权重
可在构建或镜像阶段提前拉取,避免首次加载变慢。
node -e 'import("@receptron/laya").then((m) => m.ensureBundle())' - 3
调用推理
加载后调用 systemOne,传入状态和问题,读取 answers。
- 4
关闭会话
用完调用 laya.close() 释放资源。
适合谁
- 在 Node.js/TypeScript 后端做分类或打标的开发者
- 希望本地推理、不依赖外部 API 的团队
- 需要与 Python 版结果一致的工程团队
不太适合
- 需要生成文本的场景
- 内存或镜像体积受限的部署环境
成熟度
- 活跃度创建于 2026 年 9 月,最近一次推送在 2026 年 10 月,仍在活跃维护。
- 文档README 覆盖安装、用法、选项、限制和自行导出流程,说明较完整。
- 社区约 1081 star、89 fork,开放 issue 仅 5 个,规模中等。
- 上手难度API 简单,但首次需下载 1.7GB 权重并占用约 2GB 内存。
使用前注意
- · 首次加载需下载约 1.7GB 权重,建议用 ensureBundle() 提前缓存。
- · 加载后约需 2GB 内存,每批问题另加数百 MB。
- · 单个问题的选项需在 192 token 内,choice 建议不超过约 20 个选项。
- · 包为 MIT 许可,但模型权重由 Convai Innovations 以 Apache 2.0 发布,商用前需分别确认。
