跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 1–20 条 · 共 29 条
10月14日周三
  1. Hugging Face Blog76

    Liquid AI 发布端侧智能体模型 LFM2.5-24B-A2B

    Liquid AI 发布 LFM2.5-24B-A2B,一款 24B 总参数、2B 激活参数的推理模型,先思考再作答、可调用工具并在智能体框架中完成多步任务。它基于 LFM2-24B-A2B 架构,上下文窗口从 32K 扩到 131K,词表从 65K 扩到 128K,预训练从约 17T 扩到约 33T tokens。

    推荐理由:官方给出这款 2B 激活参数端侧推理模型在工具调用与指令遵循上的对比数据,可据此判断本地智能体的可行边界。

10月8日周四
  1. 爱范儿78

    微软与英伟达发布 RTX Spark 及 Surface Laptop Ultra,主打本地不限量智能

    微软在 Windows 与 Surface 特别活动上发布英伟达 RTX Spark 计算平台和 Surface Laptop Ultra 笔记本,RTX Spark 是集成 CPU、GPU 和最高 128GB 统一内存的 ARM 架构 SoC,最高 1 PFLOP FP4 AI 算力,可在本地运行 1250 亿参数模型。

    推荐理由:微软与英伟达联合发布 RTX Spark 计算平台和 Surface Laptop Ultra,展示本地 Agent 从工具变为队友的产品思路与定价策略。

  2. NVIDIA Blog67

    NVIDIA 与 Microsoft 在 Windows PC 上推出 RTX Spark 和 AI 智能体基础设施

    在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 宣布共同为 AI 智能体在 Windows PC 上运行进行软硬件协同设计,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在操作系统控制下安全持续地后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一起推到 Windows 上,读者可据此判断端侧智能体的落地路径。

9月24日周四
9月1日周二
8月27日周四
8月12日周三
  1. Google DeepMind76

    Google DeepMind 发布多语种手语转文本模型 SL2T,首发 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品,训练数据超 10 万小时、覆盖 50 多种手语。

    推荐理由:官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式,可据此判断手语翻译在消费端落地的可行边界。

  2. Meta Engineering62

    Meta 如何在 WhatsApp 以端到端加密与可验证性构建 Scam Alert

    Meta 在 WhatsApp 上构建了可选的 Scam Alert 功能,用端侧机器学习模型在本地对来自非联系人的消息做诈骗概率分类,消息内容不会离开设备,也不会被自动上报。

    推荐理由:原文给出 WhatsApp 端侧反诈告警的隐私架构与可验证设计,读者可了解端侧模型在加密通信场景的完整工程路径。

8月10日周一
  1. NVIDIA Developer Blog64

    Meta 开源 Muse Glimmer:30B 稠密模型,面向本地智能体工作流

    Meta 重返开源生态,发布 Muse Glimmer,一个 30B 开源权重稠密模型,上下文窗口超过 120K,面向本地 AI 智能体工作。该模型针对 NVIDIA 边缘、桌面和工作站 AI 平台优化,可在单 GPU 上达到 20K tokens/sec,让常驻智能体在本地处理数据并执行复杂任务。

    推荐理由:Meta 回归开源发布 30B 本地智能体模型,并给出单 GPU 吞吐数字和运行平台范围。

6月11日周四
  1. Google DeepMind67

    Google DeepMind 发布 DiffusionGemma:文本扩散模型推理最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式一次性生成 256 个 token,在专用 GPU 上文本生成最高提速 4 倍,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 4x 推理加速的实测数字与本地低并发场景边界,读者可据此判断它适合哪些交互式工作流。

6月9日周二
6月2日周二
4月3日周五
4月2日周四
  1. Hugging Face Blog86

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族,采用 Apache 2.0 许可,支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸,最大上下文窗口 256K,其中 12B Unified 去掉独立视觉与音频编码器,直接把原始图像块和音频波形投影到 LLM 嵌入空间。

    推荐理由:Gemma 4 五档模型覆盖端侧到 MoE,附各推理引擎与微调工具链的接入方式,可据此判断本地部署路径。

2月20日周五
11月20日周四
9月4日周四
  1. Hugging Face Blog62

    Google 发布 EmbeddingGemma 多语言嵌入模型

    Google 发布 EmbeddingGemma,一个面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力,量化后内存占用低于 200 MB,作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。

    推荐理由:读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。

6月26日周四
  1. Hugging Face Blog73

    Gemma 3n 正式上线开源生态,E2B 仅需 2GB GPU 显存

    Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama、Google AI Edge 等主流开源库上线,共发布 gemma-3n-E2B 与 gemma-3n-E4B 两种尺寸,各有 base 和 instruct 变体。

    推荐理由:原文给出 Gemma 3n 的端侧内存占用、多模态编码器与各开源库集成方式,可据此判断本地部署门槛。