跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 21–40 条 · 共 62 条
7月7日周二
  1. Hugging Face Blog62

    SkyPilot 与 Hugging Face 打通:用 hf:// 挂载实现零出站存储

    Hugging Face 与 SkyPilot 联合推出 hf:// 挂载能力,可将 Hugging Face Bucket 或模型、数据集仓库挂载进 SkyPilot 任务,在 20 多个云、Kubernetes、Slurm 和本地环境中运行 GPU 作业。

    推荐理由:原文给出了 hf:// 挂载方式和跨云零出站读取的实测吞吐数据,读者可据此判断多云端 GPU 训练的存储成本变化。

  2. Hugging Face Blog71

    LeRobot v0.6.0 发布:世界模型策略、奖励模型 API 与六个仿真基准

    LeRobot 发布 v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。

    推荐理由:原文给出世界模型策略、奖励模型 API 与六个仿真基准的完整清单,读者可据此判断机器人学习闭环的现有工具面。

6月8日周一
  1. Google DeepMind65

    Google DeepMind 公布塞拉利昂 Guided Learning 预注册试验结果

    Google DeepMind 发布在塞拉利昂开展的预注册对照试验结果,使用 Guided Learning 的学生数学成绩比对照组提高 0.258 个标准差,约相当于八周内取得 1.2 至 1.7 年的常规学习进步;教师将 Gemini 用于约一半课时目标 12 小时的班级增益更高,约 1.8 至 2.5 年。

    推荐理由:Google DeepMind 在塞拉利昂的预注册 RCT 显示 Guided Learning 带来约 1.2 至 1.7 年数学学习增益,并公开了实现方法。

5月27日周三
  1. Hugging Face Blog65

    Hugging Face 在 TRL 中实现 Delta Weight Sync,用 Hub Bucket 同步万亿参数权重

    Hugging Face 在 TRL 中提交 PR,用增量权重同步替代异步强化学习中的全量权重传输:两次 RL 优化步之间约 99% 的 bf16 权重字节完全一致,只把变化的元素编码成稀疏 safetensors 文件上传到 HF Bucket,再让 vLLM 拉取。

    推荐理由:Hugging Face 把异步强化学习的权重同步从全量广播改成稀疏增量,并给出可下载运行的实现,读者可以据此判断跨机房训练的门槛变化。

5月12日周二
  1. Google DeepMind71

    Google DeepMind 发布 Co-Scientist:基于 Gemini 的多智能体科研系统

    Google DeepMind 在 Nature 发表 Co-Scientist 研究,这是一个基于 Gemini 构建的多智能体 AI 系统,可迭代生成、辩论和演化复杂科学问题的新假设。

    推荐理由:DeepMind 在 Nature 公布 Co-Scientist 的多智能体架构与各阶段分工,并给出多个实验室已落地的合作案例,可据此判断科研智能体的实际工作方式。

4月29日周三
  1. Hugging Face Blog64

    IBM 发布 Granite 4.1 系列 LLM 并详解训练流程

    IBM Granite 团队发布 Granite 4.1 系列稠密解码器 LLM,包含 3B、8B、30B 三个规模,基于约 15T token 训练,采用五阶段预训练流程并将上下文窗口扩展至 512K token,全部以 Apache 2.0 许可开源。

    推荐理由:原文披露了 Granite 4.1 从预训练到多阶段 RL 的完整训练配方,以及 8B 稠密模型追平上一代 32B-A9B MoE 的对比结果。

4月22日周三
3月21日周六
  1. Hugging Face Blog63

    如何在一天内构建领域专用嵌入模型

    NVIDIA 发布一套在单张 GPU 上不到一天完成领域嵌入模型微调的流程,基于 Llama-Nemotron-Embed-1B-v2,无需人工标注。流程用 nemotron-3-nano-30b-a3b 从领域文档生成合成问答数据、挖掘难负样本并做多跳展开,再用对比学习微调,实测 nDCG@10 与 Recall@10 均提升约 10%。

    推荐理由:NVIDIA 给出了从合成数据、难负样本挖掘到 ONNX/TensorRT 部署的完整嵌入模型微调配方,附真实评测数字。

3月18日周三
  1. Hugging Face Blog68

    Hugging Face 发布 2026 春季开源 AI 生态报告

    Hugging Face 发布 2026 春季开源 AI 生态分析,基于平台数据复盘过去一年竞争格局、地理分布、技术趋势与新兴社区。2025 年平台用户增至 1300 万,公开模型超 200 万个,公开数据集超 50 万个;中国模型占过去一年下载量的 41%,行业开发占比从 2022 年前的约 70% 降至 2025 年的约 37%。

    推荐理由:Hugging Face 官方以平台数据复盘开源 AI 一年变化,可用于判断开源生态的重心与集中度。

2月20日周五
12月3日周三
12月1日周一
  1. Hugging Face Blog70

    Hugging Face 发布 Transformers v5:简化模型定义并强化推理与量化

    Hugging Face 发布 Transformers v5 首个候选版本 v5.0.0rc-0,主题为互操作性。官方称该库每日 pip 安装量已超 300 万次,累计安装超 12 亿次,支持的模型架构从 v4 时的 40 个增至 400 余个,Hub 上兼容的模型 checkpoint 超过 75 万个。

    推荐理由:官方长文给出 v5 在模块化定义、推理接口与量化上的改动,读者可据此判断迁移成本与生态兼容性。

11月24日周一
  1. Google DeepMind66

    Google DeepMind 支持美国能源部 Genesis 计划,向 17 个国家实验室开放前沿科研模型

    Google DeepMind 宣布支持美国白宫 Genesis Mission,该项国家级计划将动员美国能源部 17 个国家实验室、产业界与学术界共建一体化科研发现平台。

    推荐理由:材料给出 Google DeepMind 与 DOE 合作中优先开放的具体模型清单与时间表,读者可据此判断前沿 AI 进入科研机构的实际路径。

11月17日周一
  1. Google DeepMind62

    Google DeepMind 发布 WeatherNext 2 天气预报模型

    Google DeepMind 与 Google Research 发布天气预报模型 WeatherNext 2,称其生成预报速度提升 8 倍,分辨率最高可达 1 小时级,可在单个 TPU 上不到一分钟生成一次预测。

    推荐理由:官方公开了生成式天气预报模型的速度、分辨率提升与多个落地入口,可据此判断这类模型进入实际产品的节奏。

3月27日周四
3月12日周三
  1. Hugging Face Blog68

    Open R1 发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 代码模型

    Open R1 发布第三期更新,包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克(IOI)的新基准,以及微调的 7B 和 32B 模型 OlympicCoder。

    推荐理由:Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型,可看蒸馏训练的具体做法与教训。

3月11日周二
  1. Hugging Face Blog75

    LeRobot 发布 L2D:全球最大开源自动驾驶数据集

    Yaak 与 Hugging Face 的 LeRobot 团队联合发布 Learning to Drive(L2D),被称为全球最大的开源自动驾驶数据集,包含来自德国 30 个城市、60 辆驾校电动车、历时 3 年采集的 90+ TB 多模态数据,约 5000 小时驾驶记录。

    推荐理由:L2D 开源数据集包含 5000+ 小时德国驾校数据,可用于 LeRobot 端到端自动驾驶模型的训练与闭环测试。

2月2日周日
1月31日周五
1月28日周二
  1. Hugging Face Blog60

    Hugging Face 发起 Open-R1 项目,复现 DeepSeek-R1 数据与训练流程

    Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。

    推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。