技术方向

部署工程

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

近 30 天 46 条共 62 条精选收录 498 条

精选新闻

  • vLLM 在发布当天支持 Thinking Machines 的 Inkling 2 Small

    vLLM 在 Thinking Machines 发布 Inkling 2 Small 当天即提供支持,这是一个文本与图像输入的多模态 MoE 模型,总参数 594B、激活 17B,上下文最长 1M tokens。

    vLLM Blog

  • vLLM-Omni 在 NVIDIA Vera Rubin 上支持 MiniMax H3-Image,4K 生成中位延迟 0.87 秒

    vLLM-Omni 团队将 MiniMax H3-Image 接入 NVIDIA Vera Rubin,四卡 SP4 配置下原生 4096×4096 文生图中位延迟为 0.87 秒,四副本单卡部署可达 6115 张/小时。

    vLLM Blog

  • Meta 与 vLLM 在 TPU v7 上将 0.6B 稠密模型 RL 全周期从约 100 分钟优化到 56 秒

    Meta 与 vLLM 团队在 64 芯片 Google Cloud TPU v7 切片上,用 Qwen3-0.6B 跑 GRPO 真 8K 负载,把一次 rollout 到权重更新的完整周期从约 100 分钟降到 56 秒(20 步中位数 57.9 秒),解码吞吐从约 4K 提升到约 183K tokens/s。

    vLLM Blog

  • vLLM 详解多模态服务中的 Encoder 分离(EPD)工程进展

    vLLM 官方博客介绍多模态推理中 Encoder/Prefill/Decode(EPD)分离的最新工程进展,核心能力已进入 vLLM v0.32.0,DeepSeek V4.1 Flash 的 metadata-only 支持在 main 分支通过 #62802 提供。

    vLLM Blog

  • Meta 详解 TLX:面向生产 ML 的硬件原生 GPU 编译器

    Meta 工程团队详解 TLX(Triton Low-Level Extensions),它在 Triton 之上加入 warp-group 与 cluster 级显式编排,让开发者直接使用 TMA、TMEM 等新硬件能力。

    Meta Engineering

  • Cursor Projects 支持多人协作

    Cursor 为 9 月推出的 Projects 功能加入多人协作,团队成员可邀请队友加入项目,与各自的智能体共同规划、构建和交付。项目提供共享上下文系统,存放需求文档、图表、技术规格和设计稿,新成员加入时上下文已预先配置;共享任务看板显示谁在做什么、智能体在处理什么以及对应 PR。

    Cursor Blog

  • Anthropic 实测 Claude 设计真实电子硬件

    Anthropic 与 Diode Computers 合作,让 Claude Fable 5.2 仅凭简短提示词完成扬声器电话、语音助手中枢和掌上电子宠物三款设备的设计,包括电路板布局布线、3D 外壳、固件和物料清单,Diode 按设计文件直接制板并做出可正常工作的原型。

    Anthropic Research

  • Google Cloud 开源训练框架 MaxText 支持长上下文训练

    Google Cloud 在开源 JAX 训练框架 MaxText v0.2.4 中加入长上下文训练支持,提供 All-gather、A2A(DeepSpeed Ulysses)、P2P(Ring Attention)和 A2A+P2P 混合(USP)四种上下文并行策略,均基于 Tokamax 的 Splash Attention 内核。

    Google Developers Blog

  • Google 在 Google Cloud 上正式开放 Pathways 分布式训练系统

    Google 宣布 Pathways 在 Google Cloud Platform 正式可用(General Availability)。Pathways 是 Google 用来训练 Gemini 等自家大模型的分布式系统,它让单个 Python 客户端把整个计算描述成图,由分布式运行时负责放置、搬运张量并保持加速器忙碌。

    Google Developers Blog

  • GitHub 详解新 Git 存储架构 Rubicon:内部测试支持 5000 个并发智能体、每秒 7200 次 push

    GitHub 详解其新的 Git 存储架构 Rubicon,内部测试中支持 5000 个并发智能体在单个仓库上工作、每秒 7200 次 push,同时读取流量保持低延迟。该架构将 Git 对象存入 Azure Blob Storage,引用状态交由独立的 Ref-CAS 复制日志服务处理,压缩与垃圾回收在独立节点后台运行,使存储与计算可各自扩展。该架构目前处于有限私有预览,计划明年初扩大推送范围。

    GitHub

  • Cursor 上线应用构建与分享功能

    Cursor 推出新功能,用户可在 Cursor 中构建实时应用并通过链接分享。用户描述想要的工具后,Cursor 会完成构建、搭建数据库、运行确定性检查与智能体安全检查并部署。官方表示,智能体让写代码更容易,但多数应用始终没能离开 localhost。

    Cursor

  • Cloudflare 谈 AI 智能体代理访问:站点如何识别、追责并管控

    Cloudflare 发文讨论个人 AI 智能体作为中间层替用户访问网站时,站点失去对真实用户的识别与追责能力,并提出以身份、信誉、问责三要素重建站点与用户关系。

    Cloudflare Blog · AI

  • 微软研究院发布 PDD Kit,用 Verus 形式化验证智能体编写的全栈 Web 应用

    微软研究院联合 GitHub Next 发布研究原型 PDD Kit,把开发者的意图转成 Verus 形式化规约,证明智能体生成的代码对每个输入都满足规约,证明覆盖不到的部分改用测试。

    Microsoft Research

  • Mistral 扩展 Studio 平台,新增托管智能体、工作流与应用

    Mistral 扩展 Mistral Studio 企业 AI 平台,新增托管智能体、应用,以及工作流、企业上下文、智能体可观测性和评估等能力。开发者可为智能体配置技能、沙箱、子智能体和 Hooks,并通过新的 Mistral MCP server 在本地测试后一条命令部署到 Studio。

    Mistral AI

  • Together AI 发布 Together Compiler,持续编译优化 AI 推理

    Together AI 发布 Together Compiler(TKCC),用高吞吐智能体在不到 24 小时内为不同推理负载生成优化,在 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上实现最高 2.6x 的 TPS 提升。

    Together AI Blog

  • Google DeepMind 为 Antigravity 推出化学信息学 Skills

    Google DeepMind 为 Google Antigravity 推出化学信息学 Skills,基于 RDKit 并接入 ChEMBL 与 PubChem,让智能体处理分子数据、建模与反应设计。

    Google DeepMind

  • Unsloth 发布 DeepSeek-V4.1-Flash-1017 GGUF 量化版本

    Unsloth 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 版本,称其在 GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider 等基准上领先。该版本可在 64GB 以上内存运行,模型文件已上传 Hugging Face,并附有使用文档。DeepSeek 官方此前宣布 DeepSeek-V4.1-Flash-1017 上线官网、App 和 API,并针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 等做了优化。

    Unsloth AI

  • Meta 详解 JiTTests 生产部署:用 LLM 生成测试在代码合入前抓 Bug

    Meta 公布 Catching JiTTests 已从研究原型进入生产基础设施,用 LLM 为每个代码 diff 自动生成可执行测试,在代码合入前暴露行为差异。

    Meta Engineering

  • Unsloth 发布 Mistral Le Chonk 的 1-bit GGUF,可在 Mac Studio 本地运行

    Unsloth 发布了 Mistral Le Chonk 的 1-bit GGUF 量化版本,使这个 1 万亿参数模型能在 Mac Studio 上本地运行,并保留 91% 的 top-1 准确率。Unsloth 称 Le Chonk 是目前最强的西方开源模型,GGUF 文件已上传至 Hugging Face,并附有使用指南。Mistral 此前发布了 Le Chonk 的权重,称其在 Cognition 的 FrontierCode 开源模型中排名第一,并在网络安全防御方面达到 SOTA。

    Unsloth AI

  • Replit 向所有 Pro 与 Enterprise 客户开放 Cloud Agents,非工程人员可向公司代码库提交代码

    Replit 宣布 Cloud Agents 现已面向所有 Pro 与 Enterprise 客户开放,团队中任何人都能用自然语言描述改动,由智能体定位代码、在云端沙箱中运行应用验证,并向 GitHub 或 GitLab 提交带截图和视频的 PR 或 MR。

    Replit Blog