进行中

LlamaIndex 发布 ParseBench-2 并公开模型评测榜

报道
3
信源
1
首次报道
11/16 01:31
最近更新
11/18 06:33

LlamaIndex 发布 ParseBench-2 文档解析基准,并在其中构建了表单解析数据集:覆盖 30 个国家的 244 个政府表单模板,共 600 页、2 万个标注字段,字段类型包括文本、复选框和签名。数据集已在 Hugging Face 发布,同时公布了按严重程度加权的表单评测指标:空白字段须保持空白,格式变化不计分,丢失签名计 5,数字错误至少计 10。 LlamaIndex 随后在 ParseBench-2 上评测了 20 多个开源权重模型,榜单已在 Hugging Face 公开,评测细化了表格、图表、格式等维度。Jerry Liu 称,团队正快速扩充评测模型并迭代基准本身,过去几天月下载量已达约 30k+,并曾称发布 3 天内月下载量达 30k、在 Hugging Face trending benchmarks 榜单排第 3 名。

最新进展LlamaIndex 在 ParseBench-2 上评测 20+ 开源权重模型

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
1
6 小时新加入
0
24 小时新报道
1
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展3 个阶段

全部报道3 篇

  • LlamaIndex 在 ParseBench-2 上评测 20+ 开源权重模型

    LlamaIndex 在 ParseBench-2 上评测了 20+ 个开源权重模型,榜单已在 Hugging Face 公开。评测细化了表格、图表、格式等维度,展示开源权重模型在哪些具体场景表现更优,完整拆解见 parsebench.ai。团队正快速扩充评测模型并迭代基准本身,过去几天月下载量已达约 30k+。

    Jerry Liu

  • LlamaIndex 推出 ParseBench-2 表单解析基准

    LlamaIndex 在 ParseBench-2 中构建了表单解析数据集,含 30 个国家 244 个政府表单模板的 600 页、2 万个标注字段(文本、复选框、签名)。该基准还设计了按严重程度加权的表单指标:空白字段须保持空白、格式变化不计分、丢失签名计 5、数字错误至少计 10。数据集已在 Hugging Face 发布,详情见博客与技术报告。

    Jerry Liu

  • LlamaIndex 发布 ParseBench-2 文档解析基准

    LlamaIndex 推出 ParseBench-2 文档解析基准,3 天内月下载量达 30k,登上 Hugging Face trending benchmarks 第 3 名。

    Jerry Liu

推出 ParseBench-2 Metric Lab 自定义评测界面#论文研究#评测基准#Hugging Face#数据与训练#开源生态