跳到正文

全部动态

今日 11 条
12月18日周一
  1. Hugging Face Blog42

    Hugging Face 回顾 2023:开源大语言模型的爆发之年

    Hugging Face 发布 2023 年开源 LLM 回顾,指出公众对开源与闭源之争的关注度大幅上升,开源模型有利于研究可复现、社区参与和 checkpoint 复用。文章梳理了预训练大语言模型的构成要素(架构、训练数据集、tokenizer、超参数),并回顾 2022 年的代表性开源模型,包括 176B 参数、覆盖 46 种人类语言的 BLOOM 和 Meta 的 175B 参数 OPT。

12月17日周日
  1. The Gradient24

    Salmon in the Loop:水电大坝的鱼类计数与人类参与式数据集生产

    作者以顾问身份参与大型水电大坝的鱼类计数项目,这类计数是满足 FERC 监管要求、证明大坝未危害濒危鲑鱼种群的核心数据集。计数依赖受过训练的人员目视识别鱼种、健康状况及野生或孵化场来源,但存在转录错误、分类争议,且各运营方在采集频率(小时/日/月)和季节(特定洄游期)上标准不一。

10月14日周六
10月8日周日
  1. The Gradient23

    The Gradient 长文:对齐研究不过是"造一个有人买单的产品"?

    The Gradient 刊文《The Artificiality of Alignment》指出,当前所谓"对齐"研究更像在解决"造一个有人愿意付费的产品"这一老问题,而非人类灭绝级别的宏大挑战。文章批评公众讨论把猜测性未来风险与当下真实危害混为一谈,并称 OpenAI 将构建超级智能列为主要目标之一,而收入生成始终是其治理、产品与技术决策的底层目标。

6月26日周一
  1. Hugging Face Blog22

    Hugging Face 伦理与社会通讯第4期:文本到图像模型中的偏见

    文本到图像(TTI)生成模型正大量上传至 Hugging Face Hub,其偏见来源多样。Hugging Face 梳理了训练数据(如 LAION-5B、MS-COCO、VQA v2.0)、预训练数据过滤、推理(CLIP 的年龄、性别、种族偏见)、模型潜在空间及事后过滤等偏见来源,并列举了 Stable Bias 等检测工具与红队评估方法。

12月15日周四
11月23日周三
6月14日周二
5月17日周二
5月13日周五
4月27日周三
4月13日周三
  1. Hugging Face Blog16

    Hugging Face 工程师 Lewis Tunstall 谈 transformers 与大规模模型评估

    Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了自己 2019 年与 Leandro von Werra 合著《NLP with Transformers》的经历,并分享了在 transformers 库中的工作:提供将 PyTorch 模型导出为 ONNX 格式的功能,用户只需一行代码即可完成转换,从而优化推理延迟与吞吐量。他还谈到大规模模型评估等话题。

3月23日周三
10月26日周二
  1. Hugging Face Blog27

    大语言模型:一条新的摩尔定律?

    微软与 NVIDIA 发布 Megatron-Turing NLG 530B,被称为全球最大最强的生成式语言模型,训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型的价值,认为基准提升有限却带来高昂成本、复杂度与碳足迹,并建议改用预训练模型、更小模型(如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%)和微调来落地机器学习。

10月20日周三