跳到正文

#端侧

今日 0 条
10月14日周三
  1. Hugging Face Blog76

    Liquid AI 发布端侧智能体模型 LFM2.5-24B-A2B

    Liquid AI 发布 LFM2.5-24B-A2B,一款 24B 总参数、2B 激活参数的推理模型,先思考再作答、可调用工具并在智能体框架中完成多步任务。它基于 LFM2-24B-A2B 架构,上下文窗口从 32K 扩到 131K,词表从 65K 扩到 128K,预训练从约 17T 扩到约 33T tokens。

    推荐理由:官方给出这款 2B 激活参数端侧推理模型在工具调用与指令遵循上的对比数据,可据此判断本地智能体的可行边界。

10月8日周四
10月7日周三
9月30日周三
8月27日周四
8月20日周四
  1. NVIDIA Developer Blog50

    如何为端侧机器人控制微调 NVIDIA Cosmos 3 Edge

    NVIDIA 推出 Cosmos 3 Edge,这是 Cosmos 3 家族中的 4B 全模态模型,内置 2B 基于 Nemotron 的推理器,用于解决世界模型体积过大难以端侧部署的问题。该模型面向机器人利用自身传感器、环境和任务进行策略适配,NVIDIA 开发者博客介绍了如何对其做后训练以用于端侧机器人控制。

8月12日周三
  1. Google DeepMind76

    Google DeepMind 发布多语种手语转文本模型 SL2T,首发 Gboard 与 Live Transcribe

    Google DeepMind 发布多语种手语转文本模型 SL2T,并在 Pixel 11 的 Gboard 与 Live Transcribe 中以 ASL 转英文的听写功能首次进入消费产品,训练数据超 10 万小时、覆盖 50 多种手语。

    推荐理由:官方给出了 SL2T 的数据规模、基准成绩和隐私处理方式,可据此判断手语翻译在消费端落地的可行边界。

8月10日周一
  1. NVIDIA Developer Blog64

    Meta 开源 Muse Glimmer:30B 稠密模型,面向本地智能体工作流

    Meta 重返开源生态,发布 Muse Glimmer,一个 30B 开源权重稠密模型,上下文窗口超过 120K,面向本地 AI 智能体工作。该模型针对 NVIDIA 边缘、桌面和工作站 AI 平台优化,可在单 GPU 上达到 20K tokens/sec,让常驻智能体在本地处理数据并执行复杂任务。

    推荐理由:Meta 回归开源发布 30B 本地智能体模型,并给出单 GPU 吞吐数字和运行平台范围。

6月11日周四
  1. Google DeepMind67

    Google DeepMind 发布 DiffusionGemma:文本扩散模型推理最高提速 4 倍

    Google DeepMind 发布实验性开源模型 DiffusionGemma,采用文本扩散方式一次性生成 256 个 token,在专用 GPU 上文本生成最高提速 4 倍,单张 NVIDIA H100 上超过 1000 tokens/秒,RTX 5090 上超过 700 tokens/秒。

    推荐理由:官方给出 4x 推理加速的实测数字与本地低并发场景边界,读者可据此判断它适合哪些交互式工作流。

6月9日周二
6月2日周二
4月3日周五
4月2日周四
  1. Hugging Face Blog86

    Google DeepMind 发布 Gemma 4 多模态模型家族

    Google DeepMind 在 HF 发布 Gemma 4 多模态模型家族,采用 Apache 2.0 许可,支持图像、文本和音频输入并生成文本。模型提供 E2B、E4B、12B Unified、31B 和 26B A4B 五个尺寸,最大上下文窗口 256K,其中 12B Unified 去掉独立视觉与音频编码器,直接把原始图像块和音频波形投影到 LLM 嵌入空间。

    推荐理由:Gemma 4 五档模型覆盖端侧到 MoE,附各推理引擎与微调工具链的接入方式,可据此判断本地部署路径。

2月4日周三
10月28日周二
9月4日周四
  1. Hugging Face Blog62

    Google 发布 EmbeddingGemma 多语言嵌入模型

    Google 发布 EmbeddingGemma,一个面向端侧场景的多语言嵌入模型,308M 参数、2K 上下文窗口,支持 100 多种语言。该模型基于 Gemma3 骨干并改为双向注意力,量化后内存占用低于 200 MB,作者称其在 500M 参数以下的纯文本多语言嵌入模型中 MTEB 排名最高。

    推荐理由:读者可以据此了解 308M 参数多语言嵌入模型在 MTEB 上的位置以及端侧 RAG 的落地路径。

6月26日周四
  1. Hugging Face Blog73

    Gemma 3n 正式上线开源生态,E2B 仅需 2GB GPU 显存

    Gemma 3n 正式在 transformers、timm、MLX、llama.cpp、Transformers.js、Ollama、Google AI Edge 等主流开源库上线,共发布 gemma-3n-E2B 与 gemma-3n-E4B 两种尺寸,各有 base 和 instruct 变体。

    推荐理由:原文给出 Gemma 3n 的端侧内存占用、多模态编码器与各开源库集成方式,可据此判断本地部署门槛。

5月21日周三
5月15日周四
2月20日周四
1月23日周四
12月18日周三
11月26日周二
9月25日周三
  1. Hugging Face Blog82

    Llama 3.2 发布:支持视觉与端侧运行

    Meta 发布 Llama 3.2,共 10 个开放权重模型,包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模,均有 base 与指令微调版本,视觉模型上下文长度为 128k tokens;文本模型新增 1B 和 3B 两种规格,面向端侧场景,训练使用最多 9 万亿 tokens。

    推荐理由:文章给出 10 个开放权重模型与端侧量化运行路径,便于评估多模态开源方案的落地条件。

7月16日周二
  1. Hugging Face Blog70

    Hugging Face 发布 SmolLM 系列小模型并开源 SmolLM-Corpus

    Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M、1.7B 三种参数规模,并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2(28B tokens)、Python-Edu(4B tokens)和去重后的 FineWeb-Edu(220B tokens)组成。

    推荐理由:SmolLM 把数据配比、训练细节和评测结果一并公开,可供读者判断小模型在端侧可用的边界。