观察中
是石科技发布多模态模型服务
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/16 11:07
- 最近更新
- 11/16 11:07
是石科技发布「多模态模型服务」,称在测试条件下相比Dense基线实现端到端平均2.48倍加速,并保持生成质量。该加速来自基于历史缓存残差的自适应加速技术。 该服务还结合SGLang优化缓存与显存管理,并采用模态自适应免训练Token压缩,在WorldSense评测中实现1.33倍加速。上述加速幅度均为是石科技公布的测试结果。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 0
- 6 小时新加入
- 0
- 24 小时新报道
- 0
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
量子位 等 1 篇报道
全部报道1 篇
是石科技发布多模态模型服务:AI视频推理端到端提速2.48倍
是石科技发布「多模态模型服务」,通过基于历史缓存残差的自适应加速技术,在测试条件下相比Dense基线实现端到端平均2.48倍加速并保持生成质量。该服务还结合SGLang优化缓存与显存管理,并用模态自适应免训练Token压缩在WorldSense评测中实现1.33倍加速。
量子位
相关
#推理能力#多模态#AI 视频#部署工程#产品更新
