技术方向
部署工程
怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。
近 30 天 46 条共 62 条精选收录 498 条
精选新闻
Google 开源 ABFS,将 Android 源码检出从 36 分钟降至 8 秒内
Google 发布并开源 ABFS,一套基于内容寻址的虚拟文件系统与构建缓存方案,把 Android 源码检出时间从约 36 分钟降到 8 秒以内,完整构建从约 80 分钟降到 2 分多钟。
Google Developers Blog
OpenAI 让 GPT-6 Astra 与 Luna 代填医疗表单和保险申请
OpenAI 发布面向医疗行政的 computer-use 智能体,GPT-6 Astra 与 GPT-6 Luna 可像人工一样操作电子健康记录和保险门户,完成转诊、事前授权等流程,草稿需由临床或行政人员审核后发出。
The Decoder
vLLM 在 Hugging Face 发布 Kimi-K3.1-Pro-DSpark 权重与即用配置
vLLM 在 Hugging Face 上线 Kimi-K3.1-Pro-DSpark 的模型权重和可直接使用的 vLLM 配置,仓库地址为 huggingface.co/Inferact/Kimi-K3.1-Pro-DSpark。
vLLM
Replit 推出 Missions:用智能体集群按预算和边界完成复杂目标
Replit 发布 Missions,用户设定目标、预算和需审批的动作后,由智能体集群并行规划、构建、测试并迭代。官方用 Missions 在 2 天、3000 美元预算内建成应用监控平台 DataCat,并开源其自托管版本。在 13 项 NumPy 基准任务上,单智能体加速最高 4 倍,16 智能体集群达 17 倍,32 智能体集群达 19 倍。
Replit Blog
Open WebUI 发布 v0.13.4,接入 Tether 本地算力与编码智能体
Open WebUI 发布 v0.13.4,新增 Tether 让用户把自己电脑上的 Ollama、LM Studio 或 OpenAI 兼容服务、MCP 工具服务器和终端接入任意 Open WebUI,地址与密钥留在本机,取代原有的 Direct Connections。
GitHub 发布 · Open WebUI
Amazon Bedrock 开放权重模型提示词缓存配置教程
AWS 介绍如何在 Amazon Bedrock 的开放权重模型上使用提示词缓存,并演示通过 Chat Completions API 配置隐式和显式缓存。示例涵盖基于产品手册的问答助手和 OpenCode 编码智能体会话,并说明如何从响应用量字段读取缓存读写情况。
AWS Machine Learning Blog
Amazon Bedrock Managed Knowledge Base 支持按租户定制回答
AWS 介绍了 Amazon Bedrock Managed Knowledge Base 的检索指令功能,可为不同租户设置回答语气、格式、检索指引和回答策略,并通过固定版本逐租户更新。检索指令本身不隔离数据,文章示范了如何用基于已认证租户的元数据过滤器或独立知识库限制可检索内容,并通过追踪事件记录所用指令版本。
AWS Machine Learning Blog
LangChain 为何围绕 agent 重构 LangSmith
LangChain 在宣布 C 轮融资并推出 LangSmith Agent Platform 后,发文解释为何围绕 agent 重构 LangSmith。新版以唯一的 agent 记录串联构建、运行、改进和治理,每个 agent 带负责人、全局唯一 ID 和类型,环境与 trace 都归到该记录下。
LangChain Blog
Gemini Managed Agents 支持自托管环境
Gemini Managed Agents 新增自托管环境支持,模型推理和智能体循环在 Google 基础设施上运行,bash 命令和文件编辑则通过出站 HTTPS 在用户自己的计算环境中执行。用户可用开源 gemini-api CLI 在 TypeScript 中本地测试,或部署到 Modal、E2B、Cloudflare、Daytona、Fly、Vercel 和 Cloud Run。
Philipp Schmid
Hugging Face 将 Inference Providers 路由切换至 OpenRouter
Hugging Face 与 OpenRouter 合作,把 Inference Providers 的语言模型请求从自建路由器切换到 OpenRouter,由后者按实时价格、速度和可靠性为每次调用选择供应商,首个供应商失败时会在同一次调用内重试其他供应商。
Hugging Face Blog
Together AI 复盘从 megakernel 到 Together Compiler 的推理优化路径
Together AI 复盘其推理优化路线:去年构建的 megakernel 在 Llama 1B 上达到 990 TPS,但最终只支持一个模型、一个 batch size 和一个客户。
Together AI Blog
Google 发布开源 AI-Hypercomputer/tpu-codesign TPU 模型设计与优化指南
Google 发布开源 AI-Hypercomputer/tpu-codesign 指南,帮助开发者针对 TPU 设计和优化 LLM、MoE 及其他硬件密集型模型。
Google Developers Blog
Google 在 TPU 上用 Zero-TIM 实现训练与推理逐位一致
Google 在 Tunix 中实现 Zero-TIM,使采样器解码、服务预填充与训练器前向在相同权重下对同一动作给出逐位相同的 logprob,并在 64 颗 TPU v5p(DP8×TP8)多主机环境验证。
Google Developers Blog
Google 开放 Antigravity /teamwork 多智能体工作流,并公布数学、化学与系统工程成果
Google 将 Antigravity 的 /teamwork 多智能体工作流连同 /boost、Deep Review 开放给外部研究者与开发者,可配合 Gemini 4 模型使用。
Google Research
Cloudflare 将 AI 智能体浏览器 Kitesurf 开源
Cloudflare 宣布把运行在 Workers 上的无状态 AI 智能体浏览器 Kitesurf 以 Apache 2.0 协议在 GitHub 开源,开发者可本地运行、修改并部署到自己的 Cloudflare 账号。
Cloudflare Blog · AI
Hugging Face Transformers 发布 v5.23.0,新增模型支持并更新模型导出接口
Hugging Face Transformers 发布 v5.23.0,新增 Inkling2、JEV、LFM3、Dots 3 Note Preview、LFM3-VL、IQuestCoder 和 InternLM3 的模型支持,并调整模型导出接口。
GitHub 发布 · Transformers
llama.cpp 发布 v1.0.0,确立语义化版本与 API 稳定性规则
llama.cpp 发布 v1.0.0,同时 ggml 也发布 v1.0.0,项目今后以主版本号变更标示公共 C API 与 ABI 的不兼容改动。
Hugging Face Blog
Thinking Machines 的 Inkling 2 small 上线 Together AI
Thinking Machines 的 Inkling 2 small 已在 Together AI 上线。该模型是多模态 MoE,面向编码、长程智能体任务和视觉,总参数 594B、激活参数 17B,上下文窗口最高 1M。用户可通过 Together AI 的模型页面试用。
Together AI
Claude Managed Agents 推出自托管私有测试版
Claude Managed Agents 自托管版本进入私有测试,用户可在自有云或本地部署 agent harness、沙箱和会话历史,并自行选择向 Claude 发送请求的位置。
Ado
vLLM 在 Vera Rubin NVL72 上服务 DeepSeek-V4.1-Flash:单 GPU 1.7M tokens/s,较 GB300 NVL72 提升 58 倍
vLLM 团队在 NVIDIA Vera Rubin NVL72 单机架上服务 DeepSeek-V4.1-Flash,实现每 GPU 1.7M tokens/s、单用户 387 tokens/s,吞吐为 GB300 NVL72 的 58 倍,峰值吞吐 2.52M tokens/s、单用户最高 1,810 tokens/s。
vLLM Blog
