Hugging Face 如何用 Infisical 为 AI 基础设施扩展密钥管理
Hugging Face 将密钥管理从 AWS 单云环境迁移到 Infisical,以支撑 Hub 上超 400 万开发者、每分钟超 1000 万请求的规模。此前团队评估过 HashiCorp Vault,最终选择 Infisical,通过其 Kubernetes Operator 自动同步密钥,并借助 Okta 集成实现基于 RBAC 的细粒度权限控制。
Hugging Face 将密钥管理从 AWS 单云环境迁移到 Infisical,以支撑 Hub 上超 400 万开发者、每分钟超 1000 万请求的规模。此前团队评估过 HashiCorp Vault,最终选择 Infisical,通过其 Kubernetes Operator 自动同步密钥,并借助 Okta 集成实现基于 RBAC 的细粒度权限控制。
Hugging Face 将 JFrog 的扫描器接入 HF Mirror Hub,为所有公开模型仓库自动扫描,文件推送即触发。JFrog 会解析模型权重中的代码,判断其是否为恶意用法,弥补 picklescan 仅做模块名模式匹配、易产生误报的不足,并覆盖 pickle 之外的更多格式。
Hugging Face 与印度科学研究所 IISc、ARTPARK 达成合作,提升印度多模态多语言数据集 Vaani 的可访问性与可用性。Vaani 于 2022 年由 IISc/ARTPARK 与 Google 发起,已开源第一阶段 80 个地区的数据,第二阶段将再覆盖 100 个地区,目标采集超 15 万小时语音和 1.5 万小时转写文本。
Hugging Face 启动 Open-R1 项目,计划系统性复现 DeepSeek-R1 的数据与训练流程,补上官方未公开的数据集和训练代码。该计划分三步:蒸馏高质量推理数据集复现 R1-Distill 模型,复刻 DeepSeek 用于 R1-Zero 的纯强化学习流程,并打通基础模型到 SFT 再到 RL 的多阶段训练。项目还计划把数据集拓展到代码和医学等领域,并向社区开放代码与讨论。
推荐理由:DeepSeek-R1 开源权重但未公开数据与训练代码,该项目计划补上蒸馏与纯 RL 复现路径。
Hugging Face 与 Entalpic 联合推出开源协作项目 LeMaterial,并首发 LeMat-Bulk 数据集,将 Materials Project、Alexandria 和 OQMD 三大材料数据库统一清洗标准化为 670 万条条目、7 项材料属性的单一格式,采用 CC-BY-4.0 许可。
Hugging Face 的 Xet 团队改用内容定义分块(CDC)存储文件,只传输和保存被修改的 chunk。对 CORD-19 数据集的测试显示,平均下载时间从 51 分钟降至 19 分钟,上传从 47 分钟降至 24 分钟,存储占用从 8.9 GB 降至 3.52 GB。
Hugging Face 宣布与 Protect AI 合作,将后者旗下安全工具 Guardian 作为第三方扫描器集成进 Hub 的扫描套件,用于识别 pickle、Keras Lambda 层等格式中的任意代码执行漏洞。所有公开模型仓库在推送文件后会自动扫描,无需额外操作,目前平台已扫描数亿个文件,但超 100 万个模型仓库的覆盖仍需时间。
AMD 发布基于 Zen5 架构的第五代服务器级 EPYC CPU(代号 Turin),最高 192 核 384 线程。
2024 年中国 AI 公司加速出海,全球 1500 家活跃 AI 公司中有 751 家位于中国,其中 103 家已拓展海外市场。华为、腾讯、阿里聚焦云计算与 AI 基础设施,主攻东南亚和中东;字节跳动七个月内推出 11 款海外应用,CapCut 月活超 3 亿。
OpenAI 宣布获得新融资,用于扩大 AI 带来的效益,推进其确保通用人工智能惠及全人类的使命。原文未披露融资金额、投资方及具体用途细节。
Hugging Face 宣布收购西雅图公司 XetHub,其 12 人团队将加入,目标是让 Hub 仓库改用自研的存储后端替代 Git LFS。XetHub 的技术可让 Git 扩展到 TB 级仓库,通过分块存储和去重,更新 10GB Parquet 文件中的一行只需重传包含新行的少量分块,而更新 GGUF 头部的单个元数据值也只需重传几 KB。
Banque des Territoires(CDC 集团)、Polyconseil 与 HF Mirror 合作,为 EduRénov 校园生态改造计划搭建基于 RAG 的主权数据方案,项目第一阶段已完成。
Hugging Face 检测到其 Spaces 平台遭未授权访问,涉及 Spaces secrets,怀疑部分密钥已被读取。作为补救,官方已撤销这些 secrets 中的若干 HF token 并邮件通知相关用户,同时引入 KMS、移除 org token,并建议用户改用细粒度访问 token。该事件已上报执法机构和数据保护机构,公司正联合外部网络安全取证专家调查。
HF Mirror 与微软在 Microsoft Build 上宣布深化合作,Azure Model Catalog 的 HF Mirror Collection 新增 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等开放模型,支持 1 键部署。
Ryght 正式公开发布面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview,免费向生命科学知识工作者开放,支持无缝上手。
Hugging Face 宣布与云安全公司 Wiz 合作提升平台与 AI/ML 生态安全,并已接入 Wiz 的漏洞管理和云安全态势管理(CSPM)能力。Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码,发现相关缺陷,Hugging Face 表示已修复全部相关漏洞。双方还强调应避免在生产环境使用 pickle 文件,改用 Safetensors。
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验,几天内汇集 350 名社区贡献者完成超 11,000 条 prompt 评分,并发布含 10,000 条 prompt 用户评分的 10k_prompts_ranked 数据集。
Hugging Face 上线 Open Ko-LLM Leaderboard,专门评测韩语大模型,采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务。该榜使用不公开的私有测试集以防数据污染,上线五个月已有超 1000 个模型提交,KT 的 Mi:dm 7B 在 7B 及以下参数模型中排名第一并已开放公众使用。
AMD 联合 Hugging Face 启动 Pervasive AI 开发者大赛,设 Generative AI、Robotics AI、PC AI 三个赛道,总奖金 16 万美元,单项最高 1 万美元,并提供 700 个 AMD 平台供参赛者使用。
Hugging Face 与 Google Cloud 宣布战略合作,在开放科学、开源、云与硬件层面协作,让企业用开源模型构建自己的 AI。
Hugging Face 发布伦理与社会通讯 #5,回顾 2023 夏季在 E.U.、U.K.、U.S. 的 AI 监管参与,包括 CEO Clem 向美国国会作证、在美国参议院 AI Insight Forum 发言,以及对 E.U. AI Act 和 NTIA AI 问责制的建议。团队还发布 IDEFICS 多模态模型并对其开展偏见与危害测试,同时公开多项负责任生成式 AI 教程、论文与资源。
Rocket Money 将其交易分类系统从正则表达式迁移到 BERT 系列模型,用于处理每月超 1 亿笔、负载突发的交易。团队用 Retool 搭建标注队列与漂移检测工具,并设计了覆盖 4000+ 类别的离线评测体系。经过三个月评估,Rocket Money 选择 HF Mirror Inference API 托管模型,以在缺少 MLOps 团队的情况下实现高可用、动态扩缩容与低延迟推理。
Fetch 在 Amazon SageMaker 上结合 HF Mirror 的 AWS Deep Learning Container 与 SageMaker HF Mirror Inference Toolkit 优化收据扫描 ML 流水线,每周处理超 8000 万张收据,最慢扫描延迟降低 50%,文档理解模型准确率提升 200%。
Hugging Face 公布首届 Open Source AI Game Jam 结果,活动收到超 1300 人报名、88 款游戏提交,冠军由 ohmlet 的 Snip It 获得,该游戏用 Stable Diffusion 生成美术资产。参赛作品须至少使用一项开源 AI 工具,评审按趣味性、创意和主题契合度选出前 10 名,再交由三位评委评出最佳游戏。
HF Mirror 对话 Writer 联合创始人兼 CTO Waseem Alshikh,回顾其从 HF Mirror 用户、客户到开源模型贡献者的历程。对话涉及 Writer 的创业初衷、当下生成式 AI 的最大误解,以及其在 CPU 和 GPU 上规模化部署 LLM 的生产实践与效率考量。
HF Mirror 宣布 AMD 正式加入其硬件合作伙伴计划,双方将在 AMD CPU 和 GPU 上优化 Transformer 模型的训练与推理。GPU 侧先支持企业级 Instinct MI2xx、MI3xx,随后覆盖消费级 Radeon Navi3x;CPU 侧聚焦 Ryzen 与 EPYC 的推理优化,并纳入 Alveo V70 AI 加速器。
Hugging Face 宣布举办首届 Open Source AI Game Jam,活动时间为 7 月 7 日至 9 日,参赛者需在周末内做出一款游戏。作品须可运行于网页或 Windows,并至少使用一个开源 AI 工具,如 Stable Diffusion 可用于纹理生成、NPC 和文本转语音。任何人可个人或组队免费参加,作品按趣味性、创意和主题评分。
HF Mirror 宣布与 IBM 合作,将开源库集成进 IBM 的新一代企业 AI 工作室 watsonx.ai。
Hugging Face 被法国数据保护机构 CNIL 选入其强化支持计划,该计划从 40 多个候选企业中挑出三家"具备强劲经济发展潜力"的公司,提供数据保护义务理解与落实方面的支持。Hugging Face 表示,其主办的 BigScience 大语言模型训练项目首次将隐私置于核心位置,近期与 ServiceNow 合办的 BigCode 项目也投入资源应对隐私风险并开发假名化工具。
Hugging Face 上线面向中文用户的中文博客 hf.co/blog/zh,由志愿者翻译其博客文章及 transformers、diffusion、强化学习等课程内容。
Snorkel AI 宣布与 Hugging Face 合作,将 Hugging Face 的 Inference Endpoint 服务集成进 Snorkel Flow 平台,让企业用户可直接调用 Hugging Face 上超过 150,000 个开源模型。该服务支持几次点击创建模型 API,并具备暂停与恢复能力,客户不用时可休眠以控制成本。
Hugging Face 发布 Ethics and Society Newsletter #3,阐述其在开放 ML 中兼顾伦理的立场,并推出 6 类伦理标签(Rigorous、Consentful、Socially Conscious、Sustainable、Inclusive、Inquisitive)和社区举报功能,用于标记违规的模型、数据集或 Space。
Fetch 借助 AWS Partner HF Mirror 的 Expert Acceleration Program,将原本外包的收据识别 AI 换成自研模型,开发时间缩短 30%,处理延迟降低 50%,目前每天可处理超 1100 万张收据,服务 1800 万月活用户。
Hugging Face 与 AWS 扩大长期战略合作,Hugging Face 将把 AWS 作为首选云服务商,社区开发者可用 Amazon SageMaker、AWS Trainium 和 AWS Inferentia 训练、微调并部署模型。
HF Mirror 与 PaddlePaddle 达成开源合作,PaddlePaddle 旗下模型库将逐步接入 HF Mirror Hub,目前 Hub 上已有超 75 个 PaddlePaddle 模型。
Hugging Face 宣布启动 2023 年实习生项目,与 HF 导师共同研究 AI 与机器学习前沿问题。开放岗位包括 Accelerate、文本转语音、具身智能、大语言模型分布式训练框架、LLM 数据集、社会影响评估和 AI 艺术工具等,分布在开源团队与 Science 团队。申请需通过官方招聘门户并注册 HF 账号,工作地点视具体岗位而定。
Hugging Face 发布《Director of Machine Learning Insights》第四期,邀请 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位机器学习总监谈 ML 对各自行业的影响。
Hugging Face 发布首期 Ethics and Society 通讯,计划按季节在春分、秋分、夏至、冬至发布,由公司内部跨团队开放小组撰写,聚焦 AI 伦理如何落地。该通讯以协作、责任、透明为出发点,强调不设独立伦理团队,而是全公司共担责任。Hugging Face 本周还上线了模型和 Space 仓库的“flag”功能,用于上报伦理与法律问题。
Intel 正式加入 HF Mirror 硬件合作伙伴计划,双方将借助开源库 Optimum Intel 为 Transformer 的训练、微调和推理提供硬件加速。
Hugging Face 发布《Director of Machine Learning Insights》第 3 期金融版,汇集来自 U.S. Bank、加拿大皇家银行(RBC)、Moody's Analytics 及前 Bloomberg AI 研究科学家的金融 ML 负责人观点。