观察中

是石科技发布多模态模型服务

报道
1
信源
1
首次报道
11/16 11:07
最近更新
11/16 11:07

是石科技发布「多模态模型服务」,称在测试条件下相比Dense基线实现端到端平均2.48倍加速,并保持生成质量。该加速来自基于历史缓存残差的自适应加速技术。 该服务还结合SGLang优化缓存与显存管理,并采用模态自适应免训练Token压缩,在WorldSense评测中实现1.33倍加速。上述加速幅度均为是石科技公布的测试结果。

最新进展是石科技发布多模态模型服务:AI视频推理端到端提速2.48倍

热度48 小时内每个独立信源只算一次,24 小时减半

48 小时参与信源
0
6 小时新加入
0
24 小时新报道
0
热点排名
—

热度曲线会在事件持续一段时间后出现。

事件进展1 个阶段

全部报道1 篇

  • 是石科技发布多模态模型服务:AI视频推理端到端提速2.48倍

    是石科技发布「多模态模型服务」,通过基于历史缓存残差的自适应加速技术,在测试条件下相比Dense基线实现端到端平均2.48倍加速并保持生成质量。该服务还结合SGLang优化缓存与显存管理,并用模态自适应免训练Token压缩在WorldSense评测中实现1.33倍加速。

    量子位

#推理能力#多模态#AI 视频#部署工程#产品更新