技术方向

部署工程

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

近 30 天 46 条共 62 条精选收录 498 条

精选新闻

  • Google 为 A2UI 推出可替换推理格式 A2UI Express

    Google 为生成式 UI 协议 A2UI 推出可替换推理格式,新增默认格式 A2UI Express,官方称相比 Direct JSON 延迟最多降低 3 倍、生成同类 UI 所需 token 最多减少 3 倍。

    Google Developers Blog

  • Cursor 发布 Agent SDK,可用代码定义并部署智能体

    Cursor 正式发布 Agent SDK,这是其构建 Bugbot、安全审查智能体和 Rollouts 等自有托管智能体所用的框架。用户可用 Markdown 写提示词、用 TypeScript 定义工具,像管理软件项目一样管理智能体,并通过一条 agent-sdk deploy 命令部署到 Cursor 基础设施,也可打包为单个 Node 进程在自有环境运行。

    Cursor Blog

  • DeepSeek 开源自研推理框架 DeepInfer

    DeepSeek 开源自研推理框架 DeepInfer,该框架以高吞吐和低延迟支撑 DeepSeek-V4.1-Flash 的大规模运行。DeepSeek 表示公开这套生产栈是希望帮助社区降低算力成本与能耗,代码已发布在 GitHub。

    DeepSeek

  • Cloudflare 如何把 AI 代码审查成本降低 68%

    Cloudflare 通过优化 AI 代码审查器,把单次审查平均成本从 2.43 美元降到 0.77 美元,降幅 68%,中位耗时从 4 分 09 秒缩短到 1 分 32 秒。

    Cloudflare Blog · AI

  • Cloudflare 发布 System One 抽取模型 Clairic,上线 Workers AI 预览

    Cloudflare 发布 System One 类抽取模型 Clairic,已在 Workers AI 以 @cf/cloudflare/clairic 提供托管预览,并计划后续开放权重。

    Cloudflare Blog · AI

  • Unsloth 发布 DeepSeek V4.1-Flash-1017 本地运行 GGUF

    Unsloth 发布 DeepSeek V4.1-Flash-1017 的 GGUF 版本,可在本地运行。其 1-bit 量化保留约 88.2% 精度,体积从 508GB 降至 250GB(−52%),需 128GB 以上内存设备。Unsloth 称该模型是目前最强的开源模型,并提供了运行指南与 Hugging Face 下载地址。

    Unsloth AI

  • LM Studio Bionic 上线 DeepSeek-V4.1-Flash-1017

    LM Studio 在 Bionic 中上线 DeepSeek-V4.1-Flash-1017,支持 1M 上下文和图像输入,主打高性价比,托管在美国并支持完整 ZDR,适合编码任务。DeepSeek 官方称该版本相比上一版基准表现更强、任务完成更快、输出更短,在性能与成本上实现帕累托改进,已在官网、App 和 API 上线,并针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 等做了优化,建议升级到 DeepSeek Harness v0.2.1-rc.1 或更高版本。

    LM Studio

  • DeepSeek 发布 DeepSeek-V4.1-Flash-1017 模型

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017,官方称其基准表现更强、任务完成更快、输出更短,在性能与成本上实现帕累托改进,已在官网、App 和 API 上线。该模型针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 等做了优化,使用 DeepSeek Harness 需升级到 v0.2.1-rc.1 或更高版本。

    DeepSeek

  • Reflection 的 Beam(501B MoE)上线 LM Studio Bionic

    LM Studio 宣布 Reflection 的 Beam(501B MoE)已在其 Bionic 平台上线,提供美国托管和 ZDR。Reflection 同时称 Beam 已在多平台可用,以 Apache 2.0 许可开放权重,并发布权重、tokenizer、参考实现、BF16/FP8/NVFP4 权重、DFlash2 drafter 及训练所用的开源 harness Mirror CLI,权重和模型卡见 Hugging Face。

    LM Studio

  • 阶跃星辰 Step 5 Preview 上线 FeatherlessAI 平台

    阶跃星辰宣布 Step 5 Preview 已在 FeatherlessAI 上线,以 FP8 精度提供服务。据 FeatherlessAI 介绍,该模型为 600B 稀疏 MoE、每 token 激活 27B,面向长程智能体任务,在软件工程与金融等专业知识工作上达到前沿水平,并在 Artificial Analysis 智能指数上与 Kimi K3 持平,单任务成本约为 Claude Opus 5.5 的 1/6。

    StepFun

  • 阶跃星辰 Step 5 Preview 在 NVIDIA GB300 上展现推理性能

    阶跃星辰转发 NVIDIA 对 Step 5 Preview 的介绍,这是其规模最大的开源权重发布。该模型为 600B MoE,面向可持续长达 24 小时的智能体任务,在 NVIDIA GB300 上使用 NVFP4 时推理速度接近 8K tokens/sec/GPU。NVIDIA 同时给出了 NVFP4 checkpoint 以及 SGLang、vLLM、NeMo Automodel 和 NVIDIA NIM 的部署与后训练入口。

    StepFun

  • Anthropic 如何重新设计源码管理系统 Scion

    Anthropic 介绍其自研版本控制系统 Scion,并在五个月内把 monorepo 从 git 完整迁移过去。其合并代码量从 2026 年 5 月的日均约 2,500 次增至 9 月的日均超 30,000 次,主分支历史近 100 GB,每天约 2,500 万次代码检出。

    Anthropic Engineering

  • GitHub 推出 AI 通用密钥检测模型,将推送保护扩展到非结构化密钥

    GitHub 发布基于 ModernBERT 的 AI 通用密钥检测模型,用代码上下文识别数据库密码等非结构化密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提升一倍以上。

    GitHub Blog · AI & ML

  • Ollama 0.35 支持基于 Jev API 的决策模型

    Ollama 在 0.35 版本新增决策模型支持,基于 TypeSafe 的 Jev API,通过新的 /v1/systemone 端点把文本作为状态、一次请求回答一组命名问题,本地运行无额外成本且延迟更低。

    Ollama Blog

  • Cursor 推出 Rollouts 与 Security Reviewer 两个软件开发 Bot

    Cursor 推出 Rollouts 和 Security Reviewer 两个软件开发 Bot,分别负责变更从 PR 到生产环境的监控与代码安全问题检测修复。

    Cursor Blog

  • Cursor 优化智能体 harness,长时运行 token 成本降低 7%

    Cursor 通过精简系统提示、按需加载工具、提升提示缓存复用率和压缩文件读取行号等方式优化智能体 harness,将用户 token 成本降低 7% 且智能体质量未下降。其中系统提示精简约 66%,冷缓存未命中率降低 20%,文件读取改为每十行标注一次行号使缓存读取 token 减少 1.6%。Cursor 表示这些经验也已用于 Grok Bot 的 harness 优化。

    Cursor Blog

  • DeepSeek 上线 V4.1-Flash,原生支持多模态并逐步替代 V4-Pro

    DeepSeek 在 API 上线 V4.1-Flash,原生支持多模态,调用时把模型设为 deepseek-flash。

    DeepSeek

  • DeepSeek 发布开源权重模型 V4.1-Flash

    DeepSeek 发布开源权重模型 V4.1-Flash,主打推理效率与低成本,采用因果编码器-解码器架构,输入侧 8B、输出侧 16B 激活参数,支持 1M token 上下文与文本加图像输入,MIT 许可。

    AI News (smol.ai)

  • xAI 为 Grok Bot 增加企业级访问、网络与审计控制

    xAI 为 Grok Bot 推出企业版更新,新增访问、网络和审计控制,让企业能规模化治理 Bot。每个 Bot 运行在云端独立计算机上,可像同事一样接收消息并端到端完成任务,还能互相传递上下文;官方称上线以来已有数千家组织采用,过去几周创建了数百万个 Bot。Grok 和 Cursor 企业客户可在接下来两周免费使用并邀请全员。

    xAI News

  • Anthropic 复盘 Claude Code 质量下滑:三处改动已修复并重置用量额度

    Anthropic 就近期用户反馈的 Claude 回复质量下降发布复盘,称问题来自影响 Claude Code、Claude Agent SDK 和 Claude Cowork 的三处独立改动,API 未受影响,三处问题已于 4 月 20 日(v2.1.116)全部解决。

    Anthropic Engineering