Hugging Face 回顾 2023:开源大语言模型的爆发之年
Hugging Face 发布 2023 年开源 LLM 回顾,指出公众对开源与闭源之争的关注度大幅上升,开源模型有利于研究可复现、社区参与和 checkpoint 复用。文章梳理了预训练大语言模型的构成要素(架构、训练数据集、tokenizer、超参数),并回顾 2022 年的代表性开源模型,包括 176B 参数、覆盖 46 种人类语言的 BLOOM 和 Meta 的 175B 参数 OPT。
Hugging Face 发布 2023 年开源 LLM 回顾,指出公众对开源与闭源之争的关注度大幅上升,开源模型有利于研究可复现、社区参与和 checkpoint 复用。文章梳理了预训练大语言模型的构成要素(架构、训练数据集、tokenizer、超参数),并回顾 2022 年的代表性开源模型,包括 176B 参数、覆盖 46 种人类语言的 BLOOM 和 Meta 的 175B 参数 OPT。
作者以顾问身份参与大型水电大坝的鱼类计数项目,这类计数是满足 FERC 监管要求、证明大坝未危害濒危鲑鱼种群的核心数据集。计数依赖受过训练的人员目视识别鱼种、健康状况及野生或孵化场来源,但存在转录错误、分类争议,且各运营方在采集频率(小时/日/月)和季节(特定洄游期)上标准不一。
The Gradient 刊文讨论神经算法推理,即用深度神经网络捕捉最短路、排序等经典算法。MIT 论文《What Can Neural Networks Reason About?》提出算法对齐概念,证明架构与算法结构对齐得越好,学习执行算法所需的样本复杂度越低;文中以 GNN 对齐 Bellman-Ford 最短路算法为例说明。
The Gradient 刊文《The Artificiality of Alignment》指出,当前所谓"对齐"研究更像在解决"造一个有人愿意付费的产品"这一老问题,而非人类灭绝级别的宏大挑战。文章批评公众讨论把猜测性未来风险与当下真实危害混为一谈,并称 OpenAI 将构建超级智能列为主要目标之一,而收入生成始终是其治理、产品与技术决策的底层目标。
文本到图像(TTI)生成模型正大量上传至 Hugging Face Hub,其偏见来源多样。Hugging Face 梳理了训练数据(如 LAION-5B、MS-COCO、VQA v2.0)、预训练数据过滤、推理(CLIP 的年龄、性别、种族偏见)、模型潜在空间及事后过滤等偏见来源,并列举了 Stable Bias 等检测工具与红队评估方法。
Hugging Face 伦理与社会团队发布通讯第 2 期,讨论机器学习偏见的成因与应对。文章指出偏见是复杂的社会技术问题,单靠技术干预难以解决,需要在整个 ML 开发流程中保持警惕。团队还整理了数据集与模型等工具,供社区在开发各阶段分析并缓解偏见。
Hugging Face 发布《Director of Machine Learning Insights》第四期,邀请 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位机器学习总监谈 ML 对各自行业的影响。
Hugging Face 发布《Director of Machine Learning Insights》第 3 期金融版,汇集来自 U.S. Bank、加拿大皇家银行(RBC)、Moody's Analytics 及前 Bloomberg AI 研究科学家的金融 ML 负责人观点。
Hugging Face 推出"Machine Learning Experts"访谈系列,首期嘉宾为研究科学家 Sasha Luccioni,她负责研究机器学习模型与数据集的伦理和社会影响。
Hugging Face 博客发布 Director of Machine Learning Insights 系列第二期 SaaS 特辑,邀请 Salesforce 的 Omar Rahman、Amplitude 的曹晓丹(Danica Xiao)等多位机器学习总监分享观点。
Hugging Face 发布系列文章,邀请 BuzzFeed、Johnson & Johnson 等公司的机器学习总监分享 ML 行业落地见解。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了自己 2019 年与 Leandro von Werra 合著《NLP with Transformers》的经历,并分享了在 transformers 库中的工作:提供将 PyTorch 模型导出为 ONNX 格式的功能,用户只需一行代码即可完成转换,从而优化推理延迟与吞吐量。他还谈到大规模模型评估等话题。
前 Google 伦理 AI 团队创始人 Margaret Mitchell 已加入 Hugging Face,负责制定伦理 AI 研究协议、包容性招聘与文化建设。
微软与 NVIDIA 发布 Megatron-Turing NLG 530B,被称为全球最大最强的生成式语言模型,训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型的价值,认为基准提升有限却带来高昂成本、复杂度与碳足迹,并建议改用预训练模型、更小模型(如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%)和微调来落地机器学习。
Hugging Face 发文称,机器学习正走向「软件吞噬机器学习」:DevOps 的版本管理、测试、自动化与部署实践应被数据科学团队直接采纳,MLOps 让模型更快进入生产环境。