跳到正文

#现象/趋势

今日 24 条
1月27日周二
1月20日周二
12月30日周二
  1. Ahead of AI · Sebastian Raschka48

    LLM 的 2025:进展、问题与预测

    2025 年 LLM 发展由推理模型主导,DeepSeek 在 1 月发布 R1 论文,用强化学习配合可验证奖励(RLVR)与 GRPO 算法训练出推理行为,并以开放权重达到当时最佳专有模型水平。R1 在 DeepSeek V3 之上再训练约花费 29.4 万美元,V3 的 671B 参数模型训练成本估计接近 500 万美元而非 5 亿。此后各家开放权重与专有模型纷纷跟进推出推理版本。

12月24日周三
11月26日周三
10月29日周三
  1. Hugging Face Blog38

    Hugging Face 解析全球算力格局变迁:中国芯片开始承载国产开源模型

    Hugging Face 发文分析全球 AI 算力格局的迁移:中国国产芯片已开始承载 Qwen、DeepSeek、GLM、Kimi 等开源权重模型的推理,部分模型开始用国产芯片训练。文章指出,美国出口管制与华为 Ascend、寒武纪等国产芯片产能的加速高度相关,芯片受限也倒逼出 MLA、GRPO 等算力效率创新。

2月2日周日
1月31日周五
11月17日周日
  1. The Gradient29

    形状、对称性与结构:数学在机器学习研究中角色的转变

    机器学习过去十年的进展表明,精心设计的数学化架构只带来边际提升,而算力驱动、工程优先的规模化路线却催生了现有理论无法预测的新能力。文章认为数学的角色正在演变:从提供性能理论保证,转向像物理学那样对训练与性能中的经验现象做事后解释,并更多用于架构与任务结构、数据对称性的高层匹配。规模化还让拓扑、代数、几何等"纯"数学领域加入机器学习,以应对深度学习的复杂性问题。

10月3日周四
9月10日周二
8月4日周日
  1. The Gradient29

    我们亟需以人类福祉为根基的 AI 积极愿景

    The Gradient 刊文主张,应以个人福祉与社会健康为根基来定义"有益 AI",并呼吁构建关于能力强大 AI 的、可行且技术可信的积极社会愿景。作者提出三点结论:无法确定唯一定义人类福祉但存在支持性关系、有意义工作等具体共识因素;AI 将像社交媒体一样冲击社会基础设施;基础模型的未来部署是关键,可探索新算法、基于福祉的模型评估与训练数据。

6月24日周一
  1. Hugging Face Blog24

    Hugging Face 通讯:为什么数据质量决定 AI 成败

    Hugging Face 发文探讨数据质量为何是 AI 开发的关键,提出高质量数据应具备相关性、完整性、时效性与偏见缓解等特征。文章以 Reddit 与 Google 的 RAG 搜索合作失准(如推荐"给披萨加胶水")为例,说明低质数据会拖累模型表现。作者主张将数据质量贯穿 AI 全生命周期,通过去重、内容过滤与人工反馈等策管流程提升模型稳健性、效率与公平性。

4月21日周日
4月8日周一
  1. The Gradient27

    AI 中的性别偏见研究综述:从词嵌入到人脸识别的量化与缓解

    AI 模型会反映甚至放大现实世界的性别偏见。研究显示,词嵌入中存在"男人是程序员、女人是家庭主妇"等性别刻板类比,2016 年 Bolukbasi 等人提出基于性别中性词的去偏方法;2018 年 Gender Shades 发现三款商用性别分类器对深肤色女性错误率最高达 34.7%,而浅肤色男性仅 0.8%,Microsoft 和 IBM 随后修正了训练数据偏差。

3月9日周六
  1. The Gradient36

    Car-GPT:LLM 能否最终让自动驾驶汽车成为现实?

    文章探讨 LLM 能否成为自动驾驶的"意外答案",类比 1928 年青霉素的偶然发现。文中先回顾 2010 年代模块化自动驾驶方案(感知、定位、规划、控制四模块),再到端到端学习,并解释 tokenization、Transformer 与 next-word prediction 等 LLM 基础,最后讨论把图像和 LiDAR 点云等传感器数据接入模型的方法。

12月18日周一
  1. Hugging Face Blog42

    Hugging Face 回顾 2023:开源大语言模型的爆发之年

    Hugging Face 发布 2023 年开源 LLM 回顾,指出公众对开源与闭源之争的关注度大幅上升,开源模型有利于研究可复现、社区参与和 checkpoint 复用。文章梳理了预训练大语言模型的构成要素(架构、训练数据集、tokenizer、超参数),并回顾 2022 年的代表性开源模型,包括 176B 参数、覆盖 46 种人类语言的 BLOOM 和 Meta 的 175B 参数 OPT。

12月17日周日
  1. The Gradient24

    Salmon in the Loop:水电大坝的鱼类计数与人类参与式数据集生产

    作者以顾问身份参与大型水电大坝的鱼类计数项目,这类计数是满足 FERC 监管要求、证明大坝未危害濒危鲑鱼种群的核心数据集。计数依赖受过训练的人员目视识别鱼种、健康状况及野生或孵化场来源,但存在转录错误、分类争议,且各运营方在采集频率(小时/日/月)和季节(特定洄游期)上标准不一。

10月8日周日
  1. The Gradient23

    The Gradient 长文:对齐研究不过是"造一个有人买单的产品"?

    The Gradient 刊文《The Artificiality of Alignment》指出,当前所谓"对齐"研究更像在解决"造一个有人愿意付费的产品"这一老问题,而非人类灭绝级别的宏大挑战。文章批评公众讨论把猜测性未来风险与当下真实危害混为一谈,并称 OpenAI 将构建超级智能列为主要目标之一,而收入生成始终是其治理、产品与技术决策的底层目标。

6月26日周一
  1. Hugging Face Blog22

    Hugging Face 伦理与社会通讯第4期:文本到图像模型中的偏见

    文本到图像(TTI)生成模型正大量上传至 Hugging Face Hub,其偏见来源多样。Hugging Face 梳理了训练数据(如 LAION-5B、MS-COCO、VQA v2.0)、预训练数据过滤、推理(CLIP 的年龄、性别、种族偏见)、模型潜在空间及事后过滤等偏见来源,并列举了 Stable Bias 等检测工具与红队评估方法。

1月30日周一
12月15日周四
11月23日周三
6月14日周二
5月19日周四
  1. Hugging Face Blog16

    Hugging Face 多模态团队发布伦理章程,将伦理原则置于研究生命周期核心

    Hugging Face 多模态学习团队发布了一份项目伦理章程,将伦理原则正式纳入机器学习研究生命周期的起点,并明确了内容政策与项目价值观。章程列出了需要防范的用例,包括生成虚假信息、生成个人可识别信息以及在医疗、法律、金融、移民等高风险领域的不谨慎使用。团队同时提出透明、开放可复现、公平、自我批判和尊重他人工作等价值观,并指出这些价值观之间有时会相互冲突,需逐案权衡风险与收益。

5月13日周五
10月26日周二
  1. Hugging Face Blog27

    大语言模型:一条新的摩尔定律?

    微软与 NVIDIA 发布 Megatron-Turing NLG 530B,被称为全球最大最强的生成式语言模型,训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型的价值,认为基准提升有限却带来高昂成本、复杂度与碳足迹,并建议改用预训练模型、更小模型(如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%)和微调来落地机器学习。

10月20日周三