跳到正文

#数据/训练

今日 12 条
9月10日周三
  1. Hugging Face Blog49

    Hugging Face 用 Jupyter Notebook 训练 LLM 推理:Jupyter Agents 微调 Qwen3-4B

    Hugging Face 构建 Jupyter Agent,让模型直接在 Jupyter Notebook 中执行代码完成数据分析任务,并以 Qwen3-4B-Thinking-2507 为基线做微调。通过将脚手架精简到约 200 行代码,DABStep 简单任务准确率从 44.4% 提升至 59.7%。该基准上现有最强模型 Claude 4 Sonnet 在困难任务上准确率不足 20%。

9月6日周六
9月3日周三
9月1日周一
  1. Berkeley AI Research32

    word2vec 到底学到了什么?研究给出闭式学习理论

    研究证明 word2vec 在现实训练条件下可归结为无权重最小二乘矩阵分解,梯度流动态存在闭式解,最终学到的表示等价于对矩阵 M* 做 PCA。该矩阵仅由语料共现概率、unigram 概率等可测统计量和超参数决定,其顶部特征向量对应可解释概念:名人传记、政府市政、地理描述等。

8月21日周四
8月14日周四
8月12日周二
8月1日周五
7月29日周二
7月25日周五
7月18日周五
7月16日周三
7月10日周四
7月8日周二
  1. Hugging Face Blog37

    Hugging Face 详解高效多模态数据管道:从 Padding 浪费到背包问题打包

    Hugging Face 在 nanoVLM 项目中发现,训练中约 60% 的 batch 被无用的 padding token 占据,GPU 大量空转。其博客给出五阶段数据管道方案:从朴素 padding、固定长度裁剪,到用背包问题(knapsack)动态打包序列,并借助 IterableDataset 与生产者-消费者队列实现多模态数据的按需组批,尽量减少填充浪费。

7月4日周五
6月11日周三
6月3日周二
5月25日周日
5月21日周三
5月15日周四
4月26日周六
4月11日周五
4月8日周二
4月3日周四
3月27日周四
3月26日周三
3月18日周二
  1. Hugging Face Blog43

    Hugging Face 将 Xet 存储上线 Hub,首批模型与数据集仓库已从 LFS 迁移

    Hugging Face 已将首批模型和数据集仓库从 LFS 迁移至 Xet 存储,约 6% 的 Hub 下载流量切换到 Xet 基础设施。Xet 采用内容定义分块(CDC),按约 64KB 块做字节级去重,改一个 Parquet 文件的一行只需上传变更块,而 LFS 需重传整个文件。2 月 20 日当天共迁移 4.5 TB 仓库数据,迁移后 CAS 的下载量一度达到返回给客户端的四倍。

3月12日周三
  1. Hugging Face Blog68

    Open R1 发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 代码模型

    Open R1 发布第三期更新,包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克(IOI)的新基准,以及微调的 7B 和 32B 模型 OlympicCoder。

    推荐理由:Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型,可看蒸馏训练的具体做法与教训。

3月11日周二
  1. Hugging Face Blog75

    LeRobot 发布 L2D:全球最大开源自动驾驶数据集

    Yaak 与 Hugging Face 的 LeRobot 团队联合发布 Learning to Drive(L2D),被称为全球最大的开源自动驾驶数据集,包含来自德国 30 个城市、60 辆驾校电动车、历时 3 年采集的 90+ TB 多模态数据,约 5000 小时驾驶记录。

    推荐理由:L2D 开源数据集包含 5000+ 小时德国驾校数据,可用于 LeRobot 端到端自动驾驶模型的训练与闭环测试。

2月13日周四
2月12日周三
2月11日周二
2月10日周一
  1. Hugging Face Blog33

    Hugging Face 发布 Open Arabic LLM Leaderboard 2:阿拉伯语大模型评测榜升级

    Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2,升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客,收到 700 多个模型提交,参数从 1B 到 70B 以上,来自 180 多个机构,其中超 70% 为 chat 和微调模型,11% 为预训练模型,超半数模型小于 7B。

2月4日周二
2月2日周日
1月31日周五
1月28日周二
  1. Hugging Face Blog60

    Hugging Face 发起 Open-R1 项目,复现 DeepSeek-R1 数据与训练流程

    Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。

    推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。

1月23日周四
1月9日周四
12月24日周二