精选产品76
vLLM 为腾讯混元 Hy4 flash 提供 Day-0 支持
原标题:🎉 Day-0 support for @TencentHunyuan’s Hy4 flash is here in vLLM!
vLLM 宣布在腾讯混元 Hy4 flash 开源当天提供 Day-0 支持,可在 NVIDIA GPU 上通过 vLLM 运行该模型。Hy4 flash 为 224B 总参数、12B 激活,含 64B Engram,支持 1M token 上下文与多模态理解,采用混合注意力、Latent MoE 和 Engram 架构。
推荐理由vLLM 在模型开源当天给出 Hy4 flash 的部署镜像与配方,读者可据此了解这套混合注意力架构的落地方式。
🎉 在 vLLM 中现已提供对 @TencentHunyuan 的 Hy4 flash 的 Day-0 支持!
具备 1M token 上下文和多模态理解能力,适用于研究、文档、幻灯片和计算机使用。
总参数 224B,其中包含 64B Engram,激活参数 12B。混合注意力、Latent MoE 和 Engram 将效率置于架构的核心。
在 @NVIDIA GPU 上通过 vLLM 运行 Hy4 flash,集成工作由 @inferact 完成。使用发布镜像和部署配方开始使用:
Docker 镜像:vllm/vllm-openai:hy4-flash
配方:https://recipes.vllm.ai/tencent/Hy4-flash
Hy4 flash 现已开放权重,包括 Hy4 flash-FP8 和 Hy4 flash-Base。 224B(12B 激活),1M 上下文,原生多模态。 快速、高效,为日常生产力而打造。 现在它属于你了。敬请期待接下来推出的 Hy4! 🤗:https://huggingface.co/tencent/Hy4-flash 🐙:https://github.com/Tencent-Hunyuan/Hy4-flash 📄:https://hy.tencent.ai/research/hy4-flash 依据 Tencent Hy License 发布。 在此查看完整条款:https://huggingface.co/tencent/Hy4-flash/blob/main/LICENSE
查看原文
Hy4 flash is now open-weight, including Hy4 flash-FP8 and Hy4 flash-Base. 224B (12B active), 1M context, natively multimodal. Fast, efficient and built for everyday productivity. It's yours now. And stay tuned for Hy4 coming up next! 🤗: https://huggingface.co/tencent/Hy4-flash 🐙: https://github.com/Tencent-Hunyuan/Hy4-flash 📄: https://hy.tencent.ai/research/hy4-flash Released under the Tencent Hy License. See full terms here: https://huggingface.co/tencent/Hy4-flash/blob/main/LICENSE
