跳到正文

#数据/训练

今日 12 条
7月16日周四
7月15日周三
7月7日周二
  1. Berkeley AI Research30

    Intelligence is Free, Now What? 智能体时代的数据系统:为智能体、由智能体

    UC Berkeley 团队提出近零推理成本将带来三类数据系统挑战:为智能体(Data Systems For Agents)、由智能体运行(Of Agents)、由智能体合成(By Agents)。文中举例指出,GPT-4 级能力在 2023 年初约 $30/百万 token,如今已降至 1 美元以下,部分厂商低于 $0.10,推理价格年降幅在 9 倍到 900 倍之间,中位数约 50 倍。

  2. Hugging Face Blog62

    SkyPilot 与 Hugging Face 打通:用 hf:// 挂载实现零出站存储

    Hugging Face 与 SkyPilot 联合推出 hf:// 挂载能力,可将 Hugging Face Bucket 或模型、数据集仓库挂载进 SkyPilot 任务,在 20 多个云、Kubernetes、Slurm 和本地环境中运行 GPU 作业。

    推荐理由:原文给出了 hf:// 挂载方式和跨云零出站读取的实测吞吐数据,读者可据此判断多云端 GPU 训练的存储成本变化。

  3. Hugging Face Blog71

    LeRobot v0.6.0 发布:世界模型策略、奖励模型 API 与六个仿真基准

    LeRobot 发布 v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。

    推荐理由:原文给出世界模型策略、奖励模型 API 与六个仿真基准的完整清单,读者可据此判断机器人学习闭环的现有工具面。

7月6日周一
  1. Hugging Face Blog22

    PRX 第四部分:我们的数据策略

    Hugging Face 发布 PRX 系列第四篇,详解其数据策略:从公开与内部数据集混合构建训练语料,用 VLM 重新生成图片长描述,并借助 Mosaic Streaming 与 Lance 完成流式训练和数据管理。PRX 将文本编码器换成 Qwen3-VL,改为训练时实时计算文本 latent,仅带来约 3–4% 吞吐损失。图片统一以 JPEG 质量 92 编码,实测首次重编码几乎无感知损失。

6月30日周二
6月29日周一
6月25日周四
6月19日周五
  1. Hugging Face Blog41

    MosaicLeaks:你的深度研究智能体能守住秘密吗?

    Hugging Face 博客发布 MosaicLeaks 基准,用 1001 条交错公私信息的多跳研究链检验深度研究智能体的隐私泄漏,并区分意图、答案、全信息三类泄漏。其提出的隐私感知训练方法 PA-DR 将严格链成功率从 48.7% 提升到 58.7%,同时把答案/全信息泄漏率从 34.0% 降到 9.9%。测试显示仅按任务表现训练会加剧泄漏。

6月18日周四
6月11日周四
6月8日周一
  1. Google DeepMind65

    Google DeepMind 公布塞拉利昂 Guided Learning 预注册试验结果

    Google DeepMind 发布在塞拉利昂开展的预注册对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提高 0.258 个标准差,约相当于八周内取得 1.2 至 1.7 年的常规学习进步;教师将 Gemini 用于约一半课时目标 12 小时的班级增益更高,约 1.8 至 2.5 年。

    推荐理由:Google DeepMind 在塞拉利昂的预注册 RCT 显示 Guided Learning 带来约 1.2 至 1.7 年数学学习增益,并公开了实现方法。

6月6日周六
  1. Ahead of AI · Sebastian Raschka25

    LLM 研究论文清单:2026 年 1 月至 5 月

    Sebastian Raschka 发布 2026 年 1 月至 5 月的 LLM 研究论文精选清单,涵盖架构与模型设计、高效训练与扩展、推理效率与 KV Cache、稀疏注意力与长上下文、推理与测试时计算、强化学习与 RLVR、智能体系统与工具使用、编程智能体、扩散语言模型以及模型评测等类别。

6月3日周三
  1. Hugging Face Blog32

    超越聊天机器人的直接偏好优化:用模型自身失败样本的拒绝对降低 OCR 文本退化

    DharmaOCR 团队将直接偏好优化(DPO)用于结构化 OCR 而非聊天对齐,用模型自身失败输出构建拒绝对,在所有测试模型家族中均降低了文本退化,平均降幅 59.4%,最高 87.6%(Nanonets-OCR2–3B 从 1.61% 降至 0.20%)。监督微调(SFT)虽能降低多数模型的退化率,但很少达到生产可接受水平,因为其目标并不显式惩罚重复循环。

6月1日周一
  1. Hugging Face Blog32

    超越 LLM:企业级 AI 规模化落地为何取决于 Agent 逻辑

    企业 AI 试点普遍失败,症结在于智能体缺乏引导逻辑。IBM 用 Agent 逻辑(知识图谱、程序分析库等)在智能体层缩小上下文,测试显示:watsonx Code Assistant for Z 在百万行代码级遗留系统上保持略优理解性能,token 消耗降低约 30 倍;Aster 在 75+ Java 应用中使行、分支、方法覆盖率提升 20%-45%,token 消耗最多降低 15 倍。

5月27日周三
  1. Hugging Face Blog65

    Hugging Face 在 TRL 中实现 Delta Weight Sync,用 Hub Bucket 同步万亿参数权重

    Hugging Face 在 TRL 中提交 PR,用增量权重同步替代异步强化学习中的全量权重传输:两次 RL 优化步之间约 99% 的 bf16 权重字节完全一致,只把变化的元素编码成稀疏 safetensors 文件上传到 HF Bucket,再让 vLLM 拉取。

    推荐理由:Hugging Face 把异步强化学习的权重同步从全量广播改成稀疏增量,并给出可下载运行的实现,读者可以据此判断跨机房训练的门槛变化。

5月20日周三
5月16日周六
  1. Google DeepMind38

    Google Co-Scientist 助力肝纤维化药物重定位研究

    Google DeepMind 的 Co-Scientist 帮助斯坦福大学医学院团队筛选肝纤维化候选药物:它提出的 3 个候选中有 2 个在活体人肝细胞实验中阻断纤维化并促进肝细胞再生,其中抗癌药 vorinostat 阻断了 91% 的致肝纤维化损伤反应。研究者自行挑选的 2 个药物则未见效果,Co-Scientist 的推荐指向重塑基因活性的药物。

5月12日周二
  1. Google DeepMind71

    Google DeepMind 发布 Co-Scientist:基于 Gemini 的多智能体科研系统

    Google DeepMind 在 Nature 发表 Co-Scientist 研究,这是一个基于 Gemini 构建的多智能体 AI 系统,可迭代生成、辩论和演化复杂科学问题的新假设。

    推荐理由:DeepMind 在 Nature 公布 Co-Scientist 的多智能体架构与各阶段分工,并给出多个实验室已落地的合作案例,可据此判断科研智能体的实际工作方式。

5月7日周四
4月29日周三
  1. Hugging Face Blog64

    IBM 发布 Granite 4.1 系列 LLM 并详解训练流程

    IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM,包含 3B、8B、30B 三个规模,基于约 15T token 训练,采用五阶段预训练流程并将上下文窗口扩展至 512K token,全部以 Apache 2.0 许可开源。

    推荐理由:原文披露了 Granite 4.1 从预训练到多阶段 RL 的完整训练配方,以及 8B 稠密模型追平上一代 32B-A9B MoE 的对比结果。

4月27日周一
4月22日周三
4月21日周二
4月20日周一
  1. Berkeley AI Research36

    GRASP:面向世界模型长时程规划的梯度规划器

    Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升为虚拟状态实现跨时间并行优化、在状态迭代上加入随机性做探索、并重塑梯度以避免经由高维视觉模型的脆弱"状态-输入"梯度,从而让长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。

4月16日周四
3月31日周二
3月21日周六
  1. Hugging Face Blog63

    如何在一天内构建领域专用嵌入模型

    NVIDIA 发布一套在单张 GPU 上不到一天完成领域嵌入模型微调的流程,基于 Llama-Nemotron-Embed-1B-v2,无需人工标注。流程用 nemotron-3-nano-30b-a3b 从领域文档生成合成问答数据、挖掘难负样本并做多跳展开,再用对比学习微调,实测 nDCG@10 与 Recall@10 均提升约 10%。

    推荐理由:NVIDIA 给出了从合成数据、难负样本挖掘到 ONNX/TensorRT 部署的完整嵌入模型微调配方,附真实评测数字。

3月18日周三
  1. Hugging Face Blog68

    Hugging Face 发布 2026 春季开源 AI 生态报告

    Hugging Face 发布 2026 春季开源 AI 生态分析,基于平台数据复盘过去一年竞争格局、地理分布、技术趋势与新兴社区。2025 年平台用户增至 1300 万,公开模型超 200 万个,公开数据集超 50 万个;中国模型占过去一年下载量的 41%,行业开发占比从 2022 年前的约 70% 降至 2025 年的约 37%。

    推荐理由:Hugging Face 官方以平台数据复盘开源 AI 一年变化,可用于判断开源生态的重心与集中度。

3月13日周五
  1. Berkeley AI Research36

    Berkeley AI Research 提出 SPEX 与 ProxySPEX,大规模识别 LLM 关键交互

    Berkeley AI Research 提出 SPEX 和 ProxySPEX,用于在大规模 LLM 中识别驱动模型输出的关键特征、数据与内部组件交互。SPEX 利用交互的稀疏性和低阶性,将搜索问题转化为稀疏恢复问题,可扩展到比既有方法大几个数量级的规模;ProxySPEX 进一步利用层次结构,以约少 10 倍的消融次数达到与 SPEX 相当的性能。