进行中
英伟达研究者称超大上下文窗口是死路
- 报道
- 1
- 信源
- 1
- 首次报道
- 11/22 00:23
- 最近更新
- 11/22 00:23
英伟达研究团队提出,让语言模型一次性处理整本小说这类超大上下文窗口往往既过度又昂贵;在多项测试中,定期摘要加定向查找的效果与之相当。 这一判断针对的是上下文窗口不断扩大的趋势:GPT-4 在 2023 年 3 月发布时上下文窗口为 8,192 tokens,如今 GPT 5.6 Sol 可处理约一百万 tokens,约为前者的 120 倍。
热度48 小时内每个独立信源只算一次,24 小时减半
- 48 小时参与信源
- 1
- 6 小时新加入
- 1
- 24 小时新报道
- 1
- 热点排名
- —
热度曲线会在事件持续一段时间后出现。
事件进展1 个阶段
The Decoder 等 1 篇报道
全部报道1 篇
Nvidia 研究团队认为,让语言模型一次性处理整本小说往往既过度又昂贵,在多项测试中,定期摘要加定向查找的效果与之相当。文章指出,GPT-4 在 2023 年 3 月发布时上下文窗口为 8,192 tokens,如今 GPT 5.6 Sol 可处理约一百万 tokens,约为前者的 120 倍。
The Decoder
相关
#NVIDIA 英伟达#推理能力#数据与训练#论文研究
