THUSI-Lab GitHub avatar

GameScaling

Python
具身游戏智能体THUSI-Lab最近推送 2026年11月11日
训练与微调Apache-2.0588341 issues7 天 +78

AI 分析 · 由大模型根据 README 与仓库数据生成 · 2026年11月18日

在多种游戏画面上持续预训练视觉语言模型,输出键鼠操作,用于具身智能体研究。

GameScaling 是 miHoYo 与清华等机构合作的项目,基于 Qwen3.5 视觉语言模型,在键盘鼠标游戏数据上继续预训练,让模型根据当前游戏画面和历史动作预测接下来 200 毫秒的键鼠操作。仓库提供推理客户端、标准提示词模板、示例、测试和四个游戏基准的评测代码,模型权重发布在 Hugging Face,不含训练代码。

推荐指数

4.0

面向游戏具身智能体研究的实用推理与评测工具,权重齐全、上手门槛低,但无训练代码。

近 7 天

+78

新增 Star

总 Star 排名

#3611

雷达追踪的 3,958 个 AI 仓库中

创建于

2026

2026年10月11日

核心亮点

  • 1多尺寸权重

    提供 0.8B、2B、9B、27B 四种规模,每种含 S1 和 S3 两个版本,共 8 个检查点。

  • 2标准动作输出

    每次调用返回 200 毫秒的键鼠动作块,包含 6 步 33 毫秒动作和一次鼠标移动与滚轮。

  • 3四基准评测

    附带 Minecraft、ViZDoom、OmniGameArena 和 GameWorld 的评测代码与固定协议。

  • 4推理即用

    仓库包含推理客户端、系统提示词模板和示例,可直接加载权重运行。

  • 5数据配比可选

    S1 仅用 Minecraft 数据训练,S3 为多游戏混合(27% Minecraft),便于对比。

适用场景

  • 游戏智能体研究

    例如:在 ViZDoom 中加载 GameScaling-2B-S3,让模型根据画面实时输出移动和射击操作。

  • 跨游戏泛化评测

    例如:用仓库提供的评测套件在四个基准上对比 S1 与 S3 检查点的表现。

  • 具身智能体原型开发

    例如:将推理客户端接入自定义游戏环境,用标准提示词模板构造输入并解析动作输出。

它是怎么工作的

  1. 第 1 步

    输入画面与历史

    模型接收当前游戏帧,以及过去若干帧和对应动作作为历史上下文。

  2. 第 2 步

    视觉语言推理

    基于 Qwen3.5 架构的模型在键鼠游戏数据上继续预训练,可先思考再输出动作。

  3. 第 3 步

    生成动作块

    每次输出未来 200 毫秒的键鼠动作,包括 6 步 33 毫秒的按键和一次鼠标移动与滚轮。

  4. 第 4 步

    评测验证

    使用仓库内评测套件在四个游戏基准上按固定协议测试模型表现。

快速上手

  1. 1

    下载权重

    从 Hugging Face 选择合适尺寸的检查点仓库下载,例如 GameScaling-2B-S3。

  2. 2

    准备提示词

    使用 prompts/system_prompt_template.txt 模板,填入三个槽位构造系统提示。

  3. 3

    运行推理

    调用仓库内推理客户端,传入游戏帧和历史动作,获取 200 毫秒动作块。

  4. 4

    跑评测

    按 evaluation/README.md 配置外部游戏资源,运行四个基准的评测脚本。

适合谁

  • 游戏 AI 与具身智能方向的研究人员
  • 需要现成游戏操作模型做实验的开发者
  • 想对比不同模型规模与数据配比效果的研究者

不太适合

  • 想自己训练或微调游戏模型的开发者(仓库不含训练代码)
  • 需要开箱即用商业游戏外挂的普通用户

成熟度

  • 活跃度创建约一个月,最近一次推送在 2026-11-11,仍在更新评测代码。
  • 文档README 清晰说明模型、检查点、文件结构和评测入口,但推理细节需参考代码。
  • 社区528 星、31 叉、仅 2 个开放 issue,社区规模尚小。
  • 上手难度权重按尺寸分仓库发布,推理客户端和提示词模板齐全,评测需额外下载游戏资源。

使用前注意

  • · 仓库只含推理和评测代码,不提供训练代码,无法直接复现训练过程。
  • · 评测需要单独获取外部游戏资源,按 evaluation/README.md 操作。
  • · 27B 模型需 2 张 GPU 做张量并行,大尺寸权重对显存有要求。
  • · 模型输出为固定 200 毫秒动作块,接入实时游戏需自行处理时序。

主题标签

embodied-agentgame-agentgame-aimihoyoscaling-lawstsinghuavlm