用 CLI、技能和 AI 编程智能体开发 NVIDIA Holoscan 应用
NVIDIA 探索通用编程智能体能否利用与工程师相同的示例、文档和开发工具来开发 Holoscan 边缘实时 AI 应用。Holoscan 是面向医疗影像、机器人等边缘实时 AI 应用的平台，HoloHub 是其配套仓库，汇集了不断增长的参考应用与组件。
#端侧
#端侧
今日 6 条NVIDIA Developer BlogAI 评分1919 NVIDIA Developer BlogAI 评分5050 如何为端侧机器人控制微调 NVIDIA Cosmos 3 Edge
NVIDIA 推出 Cosmos 3 Edge，这是 Cosmos 3 家族中的 4B 全模态模型，内置 2B 基于 Nemotron 的推理器，用于解决世界模型体积过大难以端侧部署的问题。该模型面向机器人利用自身传感器、环境和任务进行策略适配，NVIDIA 开发者博客介绍了如何对其做后训练以用于端侧机器人控制。
Google DeepMind精选AI 评分7676 Google DeepMind 发布多语种手语转文本模型 SL2T，首发 Gboard 与 Live Transcribe
Google DeepMind 发布多语种手语转文本模型 SL2T，并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品，训练数据超 10 万小时、覆盖 50 多种手语。
推荐理由：官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式，可据此判断手语翻译在消费端落地的可行边界。
Meta Engineering精选AI 评分6262 Meta 如何在 WhatsApp 以端到端加密与可验证性构建 Scam Alert
Meta 在 WhatsApp 上构建了可选的 Scam Alert 功能，用端侧机器学习模型在本地对来自非联系人的消息做诈骗概率分类，消息内容不会离开设备，也不会被自动上报。
推荐理由：原文给出 WhatsApp 端侧反诈告警的隐私架构与可验证设计，读者可了解端侧模型在加密通信场景的完整工程路径。
NVIDIA Developer BlogAI 评分2424 NVIDIA JetPack 7.2.1 新增智能体视频技能与 T3000 仿真
NVIDIA 发布 JetPack 7.2.1，为 Jetson 平台加入智能体视频技能（Agentic Video Skills）和 T3000 仿真（T3000 Emulation）。JetPack 面向机器人与智能视频分析等场景，覆盖多摄像头采集、网络流解码、AI 推理与视频编码的完整数据路径。
NVIDIA Developer Blog精选AI 评分6464 Meta 开源 Muse Glimmer：30B 稠密模型，面向本地智能体工作流
Meta 重返开源生态，发布 Muse Glimmer，一个 30B 开源权重稠密模型，上下文窗口超过 120K，面向本地 AI 智能体工作。该模型针对 NVIDIA 边缘、桌面和工作站 AI 平台优化，可在单 GPU 上达到 20K tokens/sec，让常驻智能体在本地处理数据并执行复杂任务。
推荐理由：Meta 回归开源发布 30B 本地智能体模型，并给出单 GPU 吞吐数字和运行平台范围。
Hugging Face Blog精选AI 评分8282 Meta 发布 Muse Glimmer：30B 本地智能体多模态开源模型
Meta 发布多模态模型 Muse Glimmer，从 Muse 蒸馏到 30B 参数，采用 Apache 2.0 许可，面向本地智能体场景，可用于编码、文档分析和个人助理。
推荐理由：材料给出 30B 多模态模型在智能体与编码基准上的完整对比表和本地部署路径，可判断其端侧适用边界。
Hugging Face BlogAI 评分4040 Transformers.js 试验跨源存储（Cross-Origin Storage）API
Google Chrome 团队开发者关系工程师 Thomas Steiner 在 Hugging Face 博客介绍，Transformers.js 试验中的跨源存储（COS）API 引入 navigator.crossOriginStorage 接口，通过加密哈希而非 URL 跨源存取大文件。
Hugging Face BlogAI 评分5050 Hugging Face 用本地模型 Gemma 与 Qwen 免费分诊 OpenClaw 仓库
Hugging Face 分享用本地开源模型加智能体框架，为 OpenClaw 仓库的 issue 和 PR 做自动分类与分流。方案在 NVIDIA GB10（DGX Spark）上运行 gemma-4-26b-a4b 和 qwen3.6-35b-a3b，两者本地每秒可生成数百 token，并借助受限只读 shell reposhell 让模型查看代码库后输出分类标签。
Google DeepMind精选AI 评分6767 Google DeepMind 发布 DiffusionGemma：文本扩散模型推理最高提速 4 倍
Google DeepMind 发布实验性开源模型 DiffusionGemma，采用文本扩散方式一次性生成 256 个 token，在专用 GPU 上文本生成最高提速 4 倍，单张 NVIDIA H100 上超过 1000 tokens/秒，RTX 5090 上超过 700 tokens/秒。
推荐理由：官方给出 4x 推理加速的实测数字与本地低并发场景边界，读者可据此判断它适合哪些交互式工作流。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemma 4 12B 无编码器多模态模型
Google DeepMind 发布 Gemma 4 12B，一款面向笔记本的 12B 多模态模型，性能接近 26B MoE 模型，可在 16GB VRAM 或统一内存上本地运行。
推荐理由：Gemma 4 12B 去掉视觉与音频编码器，16GB 内存即可本地跑，可看轻量多模态模型的新做法。
Hugging Face Blog精选AI 评分7272 H Company 发布 Holo3.1 计算机操作智能体模型家族
H Company 发布 Holo3.1 模型家族，共四个尺寸（0.8B、4B、9B、35B-A3B），并首次提供 FP8、Q4 GGUF、NVFP4 量化权重用于本地推理。
推荐理由：原文给出多尺寸模型与量化权重，以及移动端和跨框架的基准变化，可供判断本地 computer-use 智能体的落地成本。
Google DeepMind精选AI 评分8484 Google DeepMind 发布 Gemma 4 开源模型家族
Google DeepMind 发布 Gemma 4 开源模型家族，包含 E2B、E4B、26B MoE 和 31B Dense 四个规格，采用 Apache 2.0 许可。
推荐理由：Gemma 4 给出四种规格、Apache 2.0 许可与 Arena 排名，可据此判断开源模型在本地与端侧的可用边界。
Hugging Face Blog精选AI 评分8686 Google DeepMind 发布 Gemma 4 多模态模型家族
Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族，采用 Apache 2.0 许可，支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸，最大上下文窗口 256K，其中 12B Unified 去掉独立视觉与音频编码器，直接把原始图像块和音频波形投影到 LLM 嵌入空间。
推荐理由：Gemma 4 五档模型覆盖端侧到 MoE，附各推理引擎与微调工具链的接入方式，可据此判断本地部署路径。
Hugging Face BlogAI 评分4343 Hugging Face 发布嵌入式机器人 AI 指南：数据集录制、VLA 微调与端侧优化
Hugging Face 发布 NXP 的嵌入式机器人 AI 实操指南，覆盖数据集录制、VLA 策略微调（ACT 与 SmolVLA）及端侧优化。指南建议采用顶视、夹爪、左视三摄像头配置，按 10×10 cm 划分 11 个工作区簇、每簇至少录制 10 个 episode，并用 20% 恢复型 episode 提升成功率。
Hugging Face Blog精选AI 评分6767 GGML 与 llama.cpp 加入 Hugging Face，推进 Local AI 长期发展
Hugging Face 宣布 GGML 及其创建的 llama.cpp 加入 HF，Georgi Gerganov 团队的目标是让未来 AI 保持开放，并为 ggml 与 llama.cpp 社区提供规模化和支持。
推荐理由：GGML 团队加入 HF 后，llama.cpp 的维护自主权与长期资源安排是本地推理生态的关键变化。
Hugging Face BlogAI 评分4646 H Company 新模型 Holo2-235B-A22B Preview 登顶 UI 定位榜
H Company 发布迄今最大的 UI 定位模型 Holo2-235B-A22B Preview，在 Screenspot-Pro 上取得 78.5% 的 SOTA 成绩，OSWorld G 达 79.0%，已上线 Hugging Face。
Hugging Face Blog精选AI 评分6262 AnyLanguageModel 发布：为 Apple 平台本地与远程 LLM 提供统一 API
AnyLanguageModel 是一个 Swift 包，作为 Apple Foundation Models 框架的 drop-in 替代，只需把 import FoundationModels 换成 import AnyLanguageModel 即可保持相同 API。
推荐理由：AnyLanguageModel 用 Apple Foundation Models 的统一 API 接入本地与云端模型，读者可据此评估跨后端切换的成本。
Hugging Face BlogAI 评分5454 IBM 发布 Granite 4.0 Nano 系列端侧小模型
IBM 发布 Granite 4.0 Nano 系列，这是其迄今最小的模型，面向边缘和端侧应用，包含 Granite 4.0 H 1B（约 1.5B 参数）、Granite 4.0 H 350M 两个混合 SSM 架构稠密模型，以及传统 Transformer 版的 Granite 4.0 1B 和 350M。
Hugging Face BlogAI 评分88 Arm 将参加 PyTorch Conference，邀开发者现场体验 ExecuTorch 与 vLLM
Arm 将于 10 月 22-23 日现场参加 PyTorch Conference，展示开发者如何用 PyTorch 和 ExecuTorch 构建与部署 AI 应用，并在 P1 展位演示神经图形训练、音频生成、语音识别及智能体工作流。
Hugging Face BlogAI 评分3131 用 Core ML 和 dots.ocr 实现 SOTA OCR：将 3B 模型转换到端侧运行
Hugging Face 发布三部分系列文章，讲解如何用 Core ML 与 MLX 将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换到端侧运行，该模型在 OmniDocBench 上超过 Gemini 2.5 Pro。
Hugging Face BlogAI 评分2424 在 Intel Core Ultra 上加速 Qwen3-8B 智能体：用深度剪枝草稿模型提升推理速度
Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上以 Qwen3-0.6B 作草稿模型对 Qwen3-8B 做投机解码，生成速度提升约 1.3 倍。
Hugging Face BlogAI 评分3838 Swift Transformers 发布 1.0，未来聚焦 MLX 与智能体用例
Hugging Face 的 Swift 库 swift-transformers 发布 1.0，将 Tokenizers 和 Hub 升级为独立顶级模块，并采用支持有状态模型与 MLTensor 的现代 Core ML API。
Hugging Face Blog精选AI 评分6262 Google 发布 EmbeddingGemma 多语言嵌入模型
Google 发布 EmbeddingGemma，一个面向端侧场景的多语言嵌入模型，308M 参数、2K 上下文窗口，支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力，量化后内存占用低于 200 MB，作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。
推荐理由：读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。
Hugging Face BlogAI 评分4949 Arm 与 ExecuTorch 0.7：让生成式 AI 走向大众
ExecuTorch 0.7 beta 将默认启用 Arm KleidiAI，为基于最新 Arm CPU 架构及大量旧款手机自动带来加速，开发者无需改代码即可通过 ExecuTorch 和 XNNPack 获得优化，实现更快的模型启动、更低延迟和更小内存占用。
Hugging Face BlogAI 评分4646 Arm 发布 Neural Super Sampling：面向移动 GPU 的 AI 实时超采样
Arm 推出 Neural Super Sampling（NSS）供图形与游戏开发者试用，这是一个在移动 GPU 的 Neural Accelerators（NX）上运行的实时时序超采样参数预测模型。
Hugging Face Blog精选AI 评分7373 Gemma 3n 正式上线开源生态，E2B 仅需 2GB GPU 显存
Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama、Google AI Edge 等主流开源库上线，共发布 gemma-3n-E2B 与 gemma-3n-E4B 两种尺寸，各有 base 和 instruct 变体。
推荐理由：原文给出 Gemma 3n 的端侧内存占用、多模态编码器与各开源库集成方式，可据此判断本地部署门槛。
Hugging Face BlogAI 评分2727 Arm CPU 上用 Stable Audio Open 实现实时 AI 音效生成
Arm 工程师 Michael Gamble 用 Stability AI 的 Stable Audio Open 模型，在 Arm CPU 上构建了完全本地运行的个人音效生成工具，无需 GPU 和云端推理，几秒内即可根据文字提示生成 .wav 文件并直接送入 Ableton Live。
Hugging Face BlogAI 评分3838 Dell Enterprise Hub 更新：一站式本地部署 AI 模型与应用
Dell Enterprise Hub 发布新版本，提供 Meta Llama 4 Maverick、DeepSeek R1、Google Gemma 3 等模型的即用容器，针对 NVIDIA H100/H200、AMD MI300X、Intel Gaudi 3 的 Dell 服务器完成测试与优化，Llama 4 在 Meta 公开发布后 1 小时内即上线。
Hugging Face Blog精选AI 评分6161 Falcon-H1 发布六款开源混合注意力 SSM 模型
Falcon-H1 系列发布 6 个开源模型，覆盖 0.5B、1.5B、1.5B-Deep、3B、7B 和 34B，均含 base 与 instruct 版本，采用 Apache 2.0 宽松许可。
推荐理由：Falcon-H1 以混合注意力与 SSM 架构在 6 个尺寸上对标同量级 Transformer，可据此判断端侧与长上下文场景的取舍。
Hugging Face BlogAI 评分5252 Falcon-Edge 发布 1B 与 3B 三值语言模型，支持微调
Falcon-LLM 团队发布 Falcon-Edge 系列 1.58bit 语言模型，基于 BitNet 架构，提供 1B 和 3B 两种规模，各有 base 与指令微调版本，用约 1.5 Tera Tokens 内部数据预训练。
Hugging Face BlogAI 评分4141 如何在手机上用 React Native 本地运行 LLM：Hugging Face 的 EdgeLLM 指南
Hugging Face 发布教程，教你用 React Native 和 llama.rn（llama.cpp 的绑定）构建本地运行 LLM 的移动应用，通过加载 GGUF 文件从 HF Mirror 下载模型，全程离线保护隐私。
Hugging Face Blog精选AI 评分6767 Hugging Face 发布 SmolVLM2：256M 到 2.2B 的视频理解模型
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三种参数规模，并同步支持 Transformers 与 MLX。
推荐理由：Hugging Face 发布三档小参数视频理解模型，并给出 iPhone、VLC 等端侧落地方式，可对照其内存与性能取舍。
Hugging Face BlogAI 评分5858 Hugging Face 发布 SmolVLM-256M 与 500M 两款小型视觉语言模型
Hugging Face 发布 SmolVLM 家族新成员 SmolVLM-256M 和 SmolVLM-500M，共四个 checkpoint，包括两个基础模型和两个指令微调模型，可直接加载到 transformers、MLX 和 ONNX，并提供 transformers 与 WebGPU 演示。
Hugging Face BlogAI 评分4949 IBM 联合普林斯顿、CMU、UIUC 发布混合 Mamba2 模型 Bamba-9B
IBM 联合普林斯顿、CMU、UIUC 发布推理高效的混合 Mamba2 模型 Bamba-9B，基于 2.2T tokens 完全开放数据训练，在 vLLM 中吞吐量提升 2.5 倍、延迟加速 2 倍。
Hugging Face BlogAI 评分4848 Hugging Face 发布 SmolVLM：2B 参数的开源视觉语言模型
Hugging Face 发布 SmolVLM，一个 2B 参数、面向低内存占用的开源视觉语言模型，模型权重、数据集、训练配方和工具均以 Apache 2.0 许可开放。
Hugging Face Blog精选AI 评分6868 Transformers.js v3 发布：支持 WebGPU、新模型与量化格式
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称推理速度最高比 WASM 快 100 倍，只需在加载模型时设置 device: 'webgpu'。
推荐理由：官方发布浏览器端推理库大版本，WebGPU 与量化格式的变化直接影响前端模型部署方式。
Hugging Face Blog精选AI 评分8282 Llama 3.2 发布：支持视觉与端侧运行
Meta 发布 Llama 3.2，共 10 个开放权重模型，包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模，均有 base 与指令微调版本，视觉模型上下文长度为 128k tokens；文本模型新增 1B 和 3B 两种规格，面向端侧场景，训练使用最多 9 万亿 tokens。
推荐理由：文章给出 10 个开放权重模型与端侧量化运行路径，便于评估多模态开源方案的落地条件。
Hugging Face BlogAI 评分2626 用 Optimum-Intel 和 OpenVINO GenAI 优化并部署模型
Hugging Face 与 Intel 合作的 Optimum-Intel 支持将 Transformers 模型导出为 OpenVINO IR，并通过 OpenVINO GenAI 的 LLMPipeline 在 C++ 或 Python 中低依赖部署。
Hugging Face BlogAI 评分3636 Hugging Face LeRobot 用视频编码压缩机器人数据集
Hugging Face 的 LeRobot 提出 LeRobotDataset 格式，用视频编码替代逐帧 PNG 存储机器人视觉数据，数据集平均缩小到原体积的 14%，最好情况下仅 0.2%，同时保持完整训练能力。解码单帧耗时与 PNG 相当，连续多帧解码仅为 PNG 读取耗时的 25%-50%。该格式轻量、易分享并原生集成 Hugging Face Hub，还配套了可视化工具。