论文34

Hugging Face 研究:为什么你的微调任务比 FLOPs 估算慢这么多

原标题:Why your fine-tuning job takes longer than the FLOPs say

Hugging Face Blog发布时间 (北京时间)

Hugging Face 用 272 个生产环境 SFT 任务(约 7,382 GPU 小时、NVIDIA H200)对比发现,传统 FLOP 估算仅达 R²=0.31、MAE 12.41 小时,而仅用调度前信息的 CatBoost 回归器在 5 折交叉验证下达到 R²=0.98、MAE 1.71 小时。

来源仅允许展示摘要,全文请到原文阅读。
Hugging Face部署工程数据与训练论文研究#论文/研究#数据/训练#部署/工程#Hugging Face