跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 69 条
10月14日周三
  1. AWS Machine Learning Blog65

    在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体

    AWS 在 Amazon Bedrock 上线 SpaceXAI 的 Grok 4.7,并给出一个工具调用智能体的完整评测:三个需要搜索而非查询的任务各跑六次、四个推理投入档位共 72 次运行,答对 67 次;xhigh 档 18 次全对,low 档答对 15 次且输出 token 约为 xhigh 的八分之一。

    推荐理由:原文用72次可复现的智能体运行,给出不同推理投入档位在准确率与输出token上的权衡数据,方法可迁移。

10月8日周四
  1. AWS Machine Learning Blog70

    Claude Haiku 5.5 在 AWS 上线,主打低成本高频子智能体任务

    Anthropic 的 Claude Haiku 5.5 已在 Amazon Bedrock 和 Claude Platform on AWS 上线,是 Claude 5.5 系列中最快、最高效的模型,面向子智能体和高频成本敏感任务,多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:Claude Haiku 5.5 在 Amazon Bedrock 上线,给出了成本、effort controls 与和 Opus 5.5 搭配的分工方式。

  2. NVIDIA Blog67

    NVIDIA 与 Microsoft 在 Windows PC 上推出 RTX Spark 和 AI 智能体基础设施

    在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 宣布共同为 AI 智能体在 Windows PC 上运行进行软硬件协同设计,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在操作系统控制下安全持续地后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一起推到 Windows 上,读者可据此判断端侧智能体的落地路径。

10月6日周二
  1. AWS Machine Learning Blog60

    Z.ai 的 GLM 5.3 上线 Amazon Bedrock

    AWS 宣布 Z.ai(智谱 AI)的 GLM 5.3 已在 Amazon Bedrock 上线,这是一个 753B 参数的 MoE 模型,面向编码和长周期智能体任务。

    推荐理由:原文给出 GLM 5.3 在 Bedrock 上的接入方式与提示缓存细节,读者可据此评估如何改造自己的智能体工作流。

10月3日周六
  1. 钛媒体76

    DeepSeek 为什么要在此时拥抱华为?

    DeepSeek 在国庆假期前一天开源面向华为昇腾算力平台的基础设施组件,包括 TileLang 高级语言编译工具、高性能计算库与分布式通信库,与面向英伟达平台的开源组件一一对应。

    推荐理由:拆解 DeepSeek 把成熟工具链整体移植到昇腾的技术路径,可供观察国产算力生态迁移的现实条件。

10月2日周五
  1. NVIDIA Blog72

    NVIDIA GPU 加速 OpenAI GPT-6 Astra Ultrafast

    OpenAI 的 GPT-6 Astra Ultrafast 在 NVIDIA Blackwell GPU 上运行,现已面向 OpenAI API 以及符合条件的 ChatGPT Work 和 Codex 用户开放。

    推荐理由:原文给出了 Ultrafast 相对标准模式的加速倍数与适用场景,读者可据此判断它在编码智能体工作流中的实际提速空间。

9月30日周三
  1. AWS Machine Learning Blog60

    在 Amazon Bedrock AgentCore Runtime Instances 上搭建多智能体音乐制作流水线

    AWS 官方博客给出在 Amazon Bedrock AgentCore Runtime Instances 上部署多智能体音乐制作管线的完整教程,三个智能体分别负责作曲、交付与合规筛查,通过同一个 runtimeSessionId 被调度到同一台 GPU 实例并共享文件系统。

    推荐理由:原文给出了在 AgentCore Runtime Instances 上搭建多智能体协作管线的完整代码与部署步骤,可迁移到其他长时任务。

9月24日周四
  1. Microsoft Research61

    微软研究:把物理 AI 推理卸载出机器人可提升任务表现与续航

    微软研究院对移动操作机器人负载做了首次系统性测量,发现仅依赖机载 GPU 推理会限制机器人性能、电池寿命与可扩展性。

    推荐理由:微软对机器人负载的首次系统性测量显示,把推理从机载 GPU 卸载到边缘或云端可在成功率、模型规模与续航上同时获益。

  2. Google DeepMind67

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google Private AI Compute 团队公布为 Private AI Compute 平台带来云端持久记忆的技术方案,通过硬件安全飞地、端到端加密通道和以设备派生密钥加密的每用户数据库,让跨设备 AI 记忆在服务端保持与端侧处理同等的隐私标准,此前该平台为无状态、任务结束即清除上下文。

    推荐理由:Google 公开了云端持久记忆如何用安全飞地与设备端密钥实现跨设备隐私,可看架构取舍与验证方式。

9月22日周二
9月17日周四
  1. GitHub Blog · AI & ML81

    GitHub Copilot 运行时如何用 Copilot 迁移到 Rust

    GitHub 用 Copilot 智能体把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行 Rust,AI 智能体编写了大部分代码,跨 128 个 pull request 增量合入 main。

    推荐理由:一位工程师复盘用 AI 智能体把 43 万行 TypeScript 运行时迁到 Rust 的全过程,含编排、缓存与评审经验。

8月27日周四
8月25日周二
  1. Hugging Face Blog67

    Gradio 内置 gr.Workflow:把 AI 流程做成可拖拽的节点图并自动生成 REST API

    Hugging Face 在 Gradio 中内置 gr.Workflow,把多步 AI 流程描述为由引用、算子和输出组成的类型化节点图,Gradio 提供可拖拽画布运行每个节点并展示中间结果。

    推荐理由:原文展示了把多步 AI 流程变成可视化图并自动暴露为 REST 接口的做法,读者可据此判断自己现有脚本能否照此改造。

  2. Meta Engineering63

    Meta 发布首款内置网卡的训练芯片 MTIA 300

    Meta 发布 MTIA 300,这是其自研 MTIA 系列中首款面向排序和推荐模型训练优化的芯片,在芯片封装内集成两个网络 chiplet,各含 6 个定制 800 Gbps RDMA NIC,总 I/O 带宽达 1.2 TB/s,无需经过 PCIe 总线。

    推荐理由:Meta 给出 MTIA 300 的内置网卡与卸载式集合通信设计,可对比传统 GPU 集群的通信瓶颈。

8月13日周四
  1. NVIDIA Developer Blog69

    阿里开放 Qwen3.8-2.4T-A95B 权重,2.4T 参数、单 token 激活 95B

    阿里开放了 Qwen3.8-2.4T-A95B(Qwen3.8-Max)的模型权重,这是其目前最大的开放权重模型。该模型总参数 2.4T、单 token 激活 95B,采用细粒度 MoE 架构,混合全注意力与线性注意力,上下文窗口最高 100 万 token。NVIDIA 开发者博客介绍在 GB300 NVL72 上部署该模型并支持可配置推理。

    推荐理由:摘要给出 Qwen3.8-2.4T-A95B 的开放权重与关键规格,读者可借此了解其 MoE 结构与长上下文配置。

8月12日周三
  1. Google DeepMind76

    Google DeepMind 发布多语种手语转文本模型 SL2T,首发 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品,训练数据超 10 万小时、覆盖 50 多种手语。

    推荐理由:官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式,可据此判断手语翻译在消费端落地的可行边界。

  2. Meta Engineering62

    Meta 如何在 WhatsApp 以端到端加密与可验证性构建 Scam Alert

    Meta 在 WhatsApp 上构建了可选的 Scam Alert 功能,用端侧机器学习模型在本地对来自非联系人的消息做诈骗概率分类,消息内容不会离开设备,也不会被自动上报。

    推荐理由:原文给出 WhatsApp 端侧反诈告警的隐私架构与可验证设计,读者可了解端侧模型在加密通信场景的完整工程路径。

8月10日周一
  1. NVIDIA Developer Blog64

    Meta 开源 Muse Glimmer:30B 稠密模型,面向本地智能体工作流

    Meta 重返开源生态,发布 Muse Glimmer,一个 30B 开源权重稠密模型,上下文窗口超过 120K,面向本地 AI 智能体工作。该模型针对 NVIDIA 边缘、桌面和工作站 AI 平台优化,可在单 GPU 上达到 20K tokens/sec,让常驻智能体在本地处理数据并执行复杂任务。

    推荐理由:Meta 回归开源发布 30B 本地智能体模型,并给出单 GPU 吞吐数字和运行平台范围。

8月4日周二
  1. Microsoft Research71

    微软开源 Orchard:可扩展智能体 AI 框架

    微软研究院发布开源框架 Orchard,核心是 Orchard Env——一个基于 Kubernetes 的可复用环境服务,支持软件工程、网页导航和个人助理等任务,并能在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中直接训练智能体。

    推荐理由:微软开源 Orchard 框架,把训练环境做成可复用服务,读者可据此理解小模型如何直接在真实 harness 中训练。