跳到正文

#端侧

今日 1 条
今天10月15日周四
  1. Google DeepMind47

    Google DeepMind 与新加坡政府合作打造反诈骗微调 AI 模型

    Google DeepMind 与新加坡政府科技局(GovTech Singapore)合作,基于轻量级 Gemma 模型在本地诈骗对话数据上微调出一个端侧反诈骗检测模型。该模型完全在设备本地运行,新加坡政府和 Google 均无法访问用户对话,并通过"轻量分类器初筛 + Gemma 上下文分析"两阶段流程触发实时警告。模型在新加坡国际网络周(SICW 2026)上展示,将分阶段在应用中推出。

10月14日周三
  1. Hugging Face Blog76

    Liquid AI 发布端侧智能体模型 LFM2.5-24B-A2B

    Liquid AI 发布 LFM2.5-24B-A2B,一款 24B 总参数、2B 激活参数的推理模型,先思考再作答、可调用工具并在智能体框架中完成多步任务。它基于 LFM2-24B-A2B 架构,上下文窗口从 32K 扩到 131K,词表从 65K 扩到 128K,预训练从约 17T 扩到约 33T tokens。

    推荐理由:官方给出这款 2B 激活参数端侧推理模型在工具调用与指令遵循上的对比数据,可据此判断本地智能体的可行边界。

10月8日周四
  1. NVIDIA Blog67

    NVIDIA 与 Microsoft 在 Windows PC 上推出 RTX Spark 和 AI 智能体基础设施

    在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 宣布共同为 AI 智能体在 Windows PC 上运行进行软硬件协同设计,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在操作系统控制下安全持续地后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行所需的系统级容器和本地算力硬件一起推到 Windows 上,读者可据此判断端侧智能体的落地路径。

10月2日周五
9月24日周四
9月17日周四
9月5日周六
9月3日周四
9月1日周二
8月27日周四
8月20日周四
  1. NVIDIA Developer Blog50

    如何为端侧机器人控制微调 NVIDIA Cosmos 3 Edge

    NVIDIA 推出 Cosmos 3 Edge,这是 Cosmos 3 家族中的 4B 全模态模型,内置 2B 基于 Nemotron 的推理器,用于解决世界模型体积过大难以端侧部署的问题。该模型面向机器人利用自身传感器、环境和任务进行策略适配,NVIDIA 开发者博客介绍了如何对其做后训练以用于端侧机器人控制。

8月12日周三
  1. Google DeepMind76

    Google DeepMind 发布多语种手语转文本模型 SL2T,首发 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品,训练数据超 10 万小时、覆盖 50 多种手语。

    推荐理由:官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式,可据此判断手语翻译在消费端落地的可行边界。

  2. Meta Engineering62

    Meta 如何在 WhatsApp 以端到端加密与可验证性构建 Scam Alert

    Meta 在 WhatsApp 上构建了可选的 Scam Alert 功能,用端侧机器学习模型在本地对来自非联系人的消息做诈骗概率分类,消息内容不会离开设备,也不会被自动上报。

    推荐理由:原文给出 WhatsApp 端侧反诈告警的隐私架构与可验证设计,读者可了解端侧模型在加密通信场景的完整工程路径。

8月10日周一
  1. NVIDIA Developer Blog64

    Meta 开源 Muse Glimmer:30B 稠密模型,面向本地智能体工作流

    Meta 重返开源生态,发布 Muse Glimmer,一个 30B 开源权重稠密模型,上下文窗口超过 120K,面向本地 AI 智能体工作。该模型针对 NVIDIA 边缘、桌面和工作站 AI 平台优化,可在单 GPU 上达到 20K tokens/sec,让常驻智能体在本地处理数据并执行复杂任务。

    推荐理由:Meta 回归开源发布 30B 本地智能体模型,并给出单 GPU 吞吐数字和运行平台范围。

6月23日周二
6月22日周一
6月11日周四
  1. Google DeepMind67

    Google DeepMind 发布 DiffusionGemma:文本扩散模型推理最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式一次性生成 256 个 token,在专用 GPU 上文本生成最高提速 4 倍,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 4x 推理加速的实测数字与本地低并发场景边界,读者可据此判断它适合哪些交互式工作流。

6月9日周二
6月2日周二
4月3日周五
4月2日周四
  1. Hugging Face Blog86

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族,采用 Apache 2.0 许可,支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸,最大上下文窗口 256K,其中 12B Unified 去掉独立视觉与音频编码器,直接把原始图像块和音频波形投影到 LLM 嵌入空间。

    推荐理由:Gemma 4 五档模型覆盖端侧到 MoE,附各推理引擎与微调工具链的接入方式,可据此判断本地部署路径。

3月5日周四
2月20日周五
2月4日周三
11月20日周四
10月28日周二
10月11日周六
10月2日周四
9月29日周一
9月26日周五
9月4日周四
  1. Hugging Face Blog62

    Google 发布 EmbeddingGemma 多语言嵌入模型

    Google 发布 EmbeddingGemma,一个面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力,量化后内存占用低于 200 MB,作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。

    推荐理由:读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。

8月13日周三
8月12日周二
6月26日周四
  1. Hugging Face Blog73

    Gemma 3n 正式上线开源生态,E2B 仅需 2GB GPU 显存

    Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama、Google AI Edge 等主流开源库上线,共发布 gemma-3n-E2B 与 gemma-3n-E4B 两种尺寸,各有 base 和 instruct 变体。

    推荐理由:原文给出 Gemma 3n 的端侧内存占用、多模态编码器与各开源库集成方式,可据此判断本地部署门槛。