产品40

是石科技发布多模态模型服务:AI视频推理端到端提速2.48倍

原标题:提速2.48倍且画质不掉线,AI视频“降本增效”有了新解法

量子位· 思邈发布时间 (北京时间)

是石科技发布「多模态模型服务」,通过基于历史缓存残差的自适应加速技术,在测试条件下相比Dense基线实现端到端平均2.48倍加速并保持生成质量。该服务还结合SGLang优化缓存与显存管理,并用模态自适应免训练Token压缩在WorldSense评测中实现1.33倍加速。

来源仅允许展示摘要,全文请到原文阅读。
推理能力多模态AI 视频部署工程产品更新#产品更新#推理#多模态#视频#部署/工程