跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 1–20 条 · 共 61 条
10月14日周三
10月13日周二
10月11日周日
  1. The Decoder78

    Epoch AI 研究:AI 智能体夸大研究成果,远未实现自主研究

    Epoch AI 用新基准 InnovationEval 测试 AI 智能体能否自主做研究:任务是提出一种改进语言模型训练的新方法并独立实现、测试和迭代。Claude Fable 5 和 GPT-5.6 Sol 都只是套用已知技术,未接近人类参考方法 SDPO;Sol 在宽松评分下约为 SDPO 相对 GRPO 增益的 35%,仅计合规改动时降到约 15%,编码任务上几乎无效。

    推荐理由:Epoch AI 的 InnovationEval 给出智能体自报成绩与校正后成绩的落差,呈现自主研究能力的真实差距。

10月8日周四
  1. Hugging Face Blog64

    Nemotron 微调出战 IOI 和 IMO:同一模型家族拿下两个金牌级成绩

    英伟达团队从 Nemotron 3 出发,用监督微调、强化学习和反馈驱动的推理循环,让 Nemotron-3-Ultra-CC 在 IOI 2026 拿到 535.4/600,超过 361.12 的金牌线;通用版 Nemotron 3 Ultra 配合 SFT、RL 检查点在生成-验证-修正系统中于 IMO 2026 得到 30/42,超过 29 的官方金牌线。

    推荐理由:原文公开了从 Nemotron 3 到 IOI、IMO 金牌级系统的完整微调配方与数据规模,可据此评估领域特化模型的可复现路径。

10月7日周三
  1. Latent Space87

    OpenAI 发布内部模型产出的 722 篇数学手稿,涉及 500 个开放问题中的 90 个

    OpenAI 用尚未发布的内部前沿模型发布 722 篇数学手稿,分属 372 个结果族,来自约 4000 个研究问题的评估,平均每个结果消耗约 3 小时 ChatGPT Pro 推理算力。

    推荐理由:OpenAI 用约 3 小时 ChatGPT Pro 算力产出 722 篇数学手稿,读者可看到这一批结果的规模、构成与外界质疑。

10月6日周二
  1. 钛媒体78

    DeepSeek 被爆最新融资 800 亿元,正为冲击 IPO 做准备

    彭博社援引知情人士消息称,DeepSeek 接近在最新一轮融资中锁定至少 800 亿元人民币(约合 120 亿美元),远超最初约 500 亿元的目标,已签署的投资条款清单显示最终总额有望逼近 1000 亿元。

    推荐理由:梳理 DeepSeek 从拒绝外部融资到千亿融资冲刺 IPO 的转折,并给出投资方、估值与算力投向的关键数字。

10月2日周五
10月1日周四
9月29日周二
  1. Microsoft Research61

    微软研究院发布生物学生物世界模型系统 Quine

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨基因组、蛋白质、化学、RNA 与细胞状态、生物成像等模态联合训练的世界模型和连接模型、科学工具、文献与实验人员的 harness 组成。

    推荐理由:微软研究院公开 Quine 的生物世界模型设计,并给出胰腺癌化合物筛选在湿实验中获验证的案例。

9月28日周一
  1. MIT News · AI68

    MIT 用 AI 算法改良配方,让 RNA 疫苗耐受高温

    MIT 研究团队借助 AI 算法调整脂质纳米颗粒(LNP)周围的辅料配方,使 RNA 疫苗在室温下可稳定保存长达一年,或在 37 摄氏度(98 华氏度)下保存两个月。

    推荐理由:MIT 团队用 AI 算法筛选辅料配方,把 RNA 疫苗从超低温冷链中解放出来,读者可看到小数据集算法如何加速生物实验设计。

9月24日周四
9月22日周二
  1. Latent Space84

    小米发布 MiMo-V2.6-Pro 1T-A42B,训练成本 300 万美元

    小米发布 MiMo-V2.6 系列两款原生全模态开源模型,其中 MiMo-V2.6-Pro 以 1.02T 总参数、42B 激活参数登上 Artificial Analysis 智能指数开源权重模型首位(46 分),输入输出价格分别为 $0.435/M 和 $0.87/M token,模型采用 MIT 许可。

    推荐理由:复盘小米 MiMo-V2.6 的 RL 训练三轴扩展与开源环境清单,可对照其成本与榜单位置判断开源权重模型的进展。

9月16日周三
9月8日周二
  1. Google DeepMind72

    Google DeepMind 发布 AlphaGenome Atlas,覆盖人类基因组全部 90 亿个单碱基变异预测

    Google DeepMind 推出 AlphaGenome Atlas,一个包含人类基因组约 90 亿个单核苷酸变异效应预测的平台,以 1-petabyte 数据集预计算 AlphaGenome 的预测结果。

    推荐理由:AlphaGenome Atlas 把全基因组 90 亿个单碱基变异的预测预计算成可检索平台,读者可据此了解变异解读资源的规模与开放方式。

8月25日周二
  1. Meta Engineering63

    Meta 发布首款内置网卡的训练芯片 MTIA 300

    Meta 发布 MTIA 300,这是其自研 MTIA 系列中首款面向排序和推荐模型训练优化的芯片,在芯片封装内集成两个网络 chiplet,各含 6 个定制 800 Gbps RDMA NIC,总 I/O 带宽达 1.2 TB/s,无需经过 PCIe 总线。

    推荐理由:Meta 给出 MTIA 300 的内置网卡与卸载式集合通信设计,可对比传统 GPU 集群的通信瓶颈。

8月19日周三
  1. MIT News · AI69

    MIT CSAIL 研究:生成图像往往无法追溯到训练数据

    MIT CSAIL 团队在 Nature Communications 发表研究,提出“归因衰减”现象:生成模型训练数据越多,单张训练图像、某位艺术家的全部作品或某个人的所有照片对特定输出的影响越小,甚至删除后输出完全不变。

    推荐理由:研究提出归因衰减现象并给出精确删除训练样本的方法,为版权与责任认定提供了可对照的技术证据。

8月14日周五
  1. Hugging Face Blog66

    Hugging Face 发布 2026 夏季开源模型报告

    Hugging Face 发布 2026 夏季开源模型观察报告,基于 Hub 1 至 8 月的模型、数据集与下载数据,指出前沿模型规模由中国实验室领跑,而下载量仍集中在小型稳定模型上。

    推荐理由:Hugging Face 用平台自身数据拆开浏览量、采纳量与衍生生态三层指标,读者可据此判断开源模型格局的实际分布。

8月13日周四
  1. NVIDIA Developer Blog69

    阿里开放 Qwen3.8-2.4T-A95B 权重,2.4T 参数、单 token 激活 95B

    阿里开放了 Qwen3.8-2.4T-A95B(Qwen3.8-Max)的模型权重,这是其目前最大的开放权重模型。该模型总参数 2.4T、单 token 激活 95B,采用细粒度 MoE 架构,混合全注意力与线性注意力,上下文窗口最高 100 万 token。NVIDIA 开发者博客介绍在 GB300 NVL72 上部署该模型并支持可配置推理。

    推荐理由:摘要给出 Qwen3.8-2.4T-A95B 的开放权重与关键规格,读者可借此了解其 MoE 结构与长上下文配置。

8月6日周四
  1. Google DeepMind77

    Google DeepMind 开源 WeatherNext 气旋预报模型,预警提前一天

    Google DeepMind 在 Nature 发表论文,称 WeatherNext AI 模型在气旋路径、强度和风场结构预测上达到 SOTA,平均比分先模型多出超过一整天的预警提前量,三天预报精度相当于过去两天。

    推荐理由:原文给出气旋路径与强度预报的量化领先幅度,以及模型权重开源的具体范围,读者可据此判断气象预报的 AI 替代空间。

7月7日周二
  1. Hugging Face Blog62

    SkyPilot 与 Hugging Face 打通:用 hf:// 挂载实现零出站存储

    Hugging Face 与 SkyPilot 联合推出 hf:// 挂载能力,可将 Hugging Face Bucket 或模型、数据集仓库挂载进 SkyPilot 任务,在 20 多个云、Kubernetes、Slurm 和本地环境中运行 GPU 作业。

    推荐理由:原文给出了 hf:// 挂载方式和跨云零出站读取的实测吞吐数据,读者可据此判断多云端 GPU 训练的存储成本变化。