OpenAI:用 AI 自动化并扩展财务运营
OpenAI 发布文章,介绍如何用 AI 自动化并扩展财务运营。
OpenAI 发布文章,介绍如何用 AI 自动化并扩展财务运营。
HF Mirror 的 Daily Papers 页面已收录 3,700 多篇论文、订阅数超 12k,作者可一键认领论文并关联到自己的账号。该页面还支持论文提交、@作者实时讨论、@librarian-bot 推荐相似论文、多语言评论与自动翻译,并将模型、数据集、demo 等资源集中链接在论文页右侧。用户可通过页面顶部 Subscribe 按钮订阅每日更新(周末除外)。
Hugging Face 为 Hub 上的 Datasets 推出 SQL Console,可在数据集页面一键打开,用 DuckDB WASM 在浏览器内本地执行查询,无需后端依赖。支持完整 DuckDB SQL 语法与正则、列表、JSON、嵌入向量等内置函数,结果可导出为 parquet,公开数据集查询结果还能通过链接分享。内存上限约 3GB,暂不支持 hf:// 协议。
HuggingChat 发布 Community Tools 功能,用户可以把 HuggingFace 上任意公开 Space 转成模型可直接调用的工具,同时扩展了 HuggingChat 的模态能力,支持理解图像、生成视频和文本转语音模型。
Hugging Face 发布 Accelerate 1.0.0 的首个 release candidate,包已稳定近一年。1.0 加入 MS-AMP 和 TransformerEngine 的 FP8 支持、DeepSpeed 多模型编排(实验性)、大模型推理 API 的 torch.compile 支持等。
Hugging Face 与 Truffle Security 合作,将开源密钥检测工具 TruffleHog 接入平台。平台自动化扫描流水线新增第三类扫描——用 TruffleHog 扫描密码、token 和 API key,会在每次 push 时对新增或修改文件运行 trufflehog filesystem 命令,发现已验证密钥即邮件通知用户。
OpenAI 发布公告,将举办一场聚焦 GPT-4o 微调的线上研讨会(webinar)。活动主题为 Fine-Tuning GPT-4o,面向希望了解如何微调该模型的开发者。
Hugging Face 在 Transformers 中推出统一的工具调用 API,同一套代码可在 Mistral、Cohere、NousResearch 和 Llama 等模型上使用工具,无需或只需少量模型专属改动。工具以 JSON schema 定义,Python 函数传入后会自动转换为 schema,并配有完整文档和示例。目前模型响应格式仍需手动解析,这部分尚未统一。
推荐理由:原文给出了统一工具调用 API 的跨模型设计与 Transformers 代码示例,读者可据此判断现有工具调用代码的迁移成本。
OpenAI 发布视频,展示员工如何使用 ChatGPT Enterprise 高效分析数据并挖掘洞察,给出多个实际应用示例。
Hugging Face 在 2024 年安全功能盘点中梳理了 Hub 的现有安全能力:面向所有用户的细粒度 token、2FA、GPG 提交签名、组织访问控制和自动化安全扫描(ClamAV 恶意软件扫描、picklescan 与 trufflehog)。企业版 Hub 另有 SAML 2.0 / OIDC 单点登录、Resource Groups 和新增的组织 token 管理。
HF Mirror 面向 Enterprise Hub 组织推出 NVIDIA NIM API(无服务器),可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face 为 TGI 推出 Multi-LoRA 服务功能,在一个基础模型部署上通过 Request 中的 adapter_id 动态加载多个 LoRA 适配器,实现一次部署服务 30 个模型。
推荐理由:原文给出了 TGI 多 LoRA 部署的具体配置、成本对比和可复现操作步骤,适合评估多模型推理的工程团队参考。
Hugging Face 正在 Dataset Hub 上试验一项新功能,使用开源 PII 检测工具 Presidio 生成报告,估算数据集中个人信息的存在情况。该功能面向两类数据集:PII-Masking-300k 这类标注型 PII 数据集,以及常达 TB 级、经网页爬取得到的预训练数据集。报告可帮助开发者在训练前决定是否进一步过滤数据,也便于数据集所有者验证自身的 PII 过滤流程。
Hugging Face Hub 与 KerasHub 完成集成,两者共用模型保存格式,Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub。首批支持 Gemma 1/2、Llama 3 和 PaliGemma,KerasHub 此前仅能使用 33 个 Keras 模型。加载后的模型可在 TensorFlow、JAX、PyTorch 后端间一行代码切换。
HF Mirror 在 Inference Endpoints 和 Spaces 中上线 Google TPU v5e,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Hugging Face 为 Dataset Hub 的 Dataset Search 上线四项新功能:按模态(文本、图像、音频、表格等)、按行数规模、按存储格式(如 Parquet、WebDataset)以及按兼容库(如 Pandas、Dask、Datasets)筛选数据集。行数超过 5GB 的超大数据集将以首 5GB 内容估算总行数,四项筛选条件还可与语言、任务、许可证等已有过滤器组合使用。
XLSCOUT 发布面向专利与 IP 领域的专有嵌入模型 ParaEmbed 2.0,基于人工专家整理的多领域专利数据微调,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face 的 HF Mirror Embedding Container for Amazon SageMaker 正式可用(GA),AWS 客户可在 SageMaker 上部署嵌入模型以构建 RAG 等生成式 AI 应用。
Cubzh 与 Gigax 联合在 Hugging Face Spaces 上线 NPC-Playground 3D 演示,用户可直接在浏览器中与 LLM 驱动的 NPC 对话。
HF Mirror 将 AWS Inferentia2 部署能力开放给 Hub 用户,覆盖超过 100,000 个公开模型,新增 albert、bert、roberta、vit、xlm-roberta 等 14 种模型架构和 text-classification、text-generation、question-answering 等 6 类任务。
Hugging Face 与 AMD 合作,使 AMD Instinct MI300 GPU 在 HF Mirror 平台获得一等公民集成,用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 上部署模型。
Hugging Face 为 Spaces 推出 Dev Mode,可一键通过 VS Code 或 SSH 直连 Space,直接在 Space 内编辑代码,无需再用 git 推送本地改动。该功能目前处于 beta 阶段,仅面向 PRO 订阅用户开放,在 Space 设置中启用后会自动重启,改完代码点 Refresh 即可测试,满意后再 commit 和 merge 保存。
Hugging Face 发布 Dell Enterprise Hub,可在 Dell 平台上本地训练和部署开源模型,把数周的工程工作缩短到几分钟。该 Hub 汇集 Llama 3、Mixtral、Gemma 等模型,用户凭 HF 账号即可访问并按许可证或模型规模筛选,选定 Dell 平台和 GPU 数量后粘贴脚本即可部署为 API endpoint,微调同样在本地完成。
Hugging Face 为 Transformers 推出 KV Cache Quantization,通过降低 KV cache 精度减少长上下文生成的内存占用,质量损失很小,并可在内存效率与生成速度间自定义权衡。
Hugging Face 与 LangChain 联合发布合作包 langchain_huggingface,可通过 pip install langchain-huggingface 安装。
Hugging Face 发布 Transformers Agents 2.0,在原有 agent 类型外新增可基于历史观测迭代的 agent,并将代码与常用属性设计得清晰、模块化,同时加入 agent 分享功能。
推荐理由:官方给出新 Agent 框架的模块设计与 GAIA 榜单实测,读者可据此比较不同 LLM 引擎的 agent 表现。
HF Mirror 组织现在可以通过 AWS 账号在 AWS Marketplace 升级到 Enterprise Hub。该订阅提供单点登录、资源组、欧洲存储区域、审计日志、更高配额的 GPU、私有数据集查看器,并可在 NVIDIA DGX Cloud 上用 H100 GPU 免代码训练 LLM。
Artificial Analysis 的 LLM Performance Leaderboard 现已上线 HF Mirror,覆盖 100 多个 serverless LLM API endpoint,可按质量、上下文窗口、价格、吞吐和延迟(TTFT)横向对比开源与闭源模型。
Open Life Science AI 在 Hugging Face 发布 Open Medical-LLM Leaderboard,用统一平台评测大语言模型在医疗任务上的表现,以准确率为主要指标。
Hugging Face 推出 Deploy on Google Cloud 集成,可将数千个开源模型通过 Vertex AI 或 GKE 部署为自有 Google Cloud 账户内的 API 端点,底层推理由 Text Generation Inference 驱动。
HF Mirror Hub 上线 Deploy on Cloudflare Workers AI 集成,开发者可直接把 Llama、Gemma、Mistral 等热门开源模型当无服务器 API 调用,无需自管 GPU,按请求付费。
Lighthouz AI 联合 Hugging Face 上线 Chatbot Guardrails Arena,让用户以对抗方式诱导匿名聊天机器人泄露虚构银行 XYZ001 客户的姓名、SSN、账号与余额等敏感信息,再投票选出隐私保护更强的模型。
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud,用户可在 Hub 内通过 AutoTrain 用 NVIDIA H100 GPU 一键微调 Llama、Mistral、Stable Diffusion 等模型。该服务按 GPU 分钟计费,H100 每小时 8.25 美元、L40S 每小时 2.75 美元,并提供免代码训练作业创建体验。
Hugging Face 发布 Quanto,一个面向 Optimum 的 PyTorch 量化后端,支持 int2、int4、int8 和 float8 权重及 int8、float8 激活,可在 CUDA 与 MPS 等任意设备上运行。
Hugging Face 推出 TTS Arena,参考 LMSys 的 Chatbot Arena,让用户输入文本后对比两个模型的合成语音并投票选出更自然的一个。
Hugging Face 在 PEFT 中新增了针对 LoRA 适配器的合并方法,包括 cat、linear、svd 以及基于其上的 ties 和 ties_svd,可在有限内存下按需即时合并多个适配器。
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API。
推荐理由:TGI 1.4.0 起提供 OpenAI 兼容的 Messages API,读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Segmind 发布 SegMoE 框架,可从零构建混合专家(MoE)扩散模型,并已集成 diffusers,同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码(Apache 2.0)。
推荐理由:原文给出了从配置到生产的完整流程和显存占用数据,读者可以据此判断是否用 MoE 方式拼装扩散模型。
Hugging Face 的 Text Generation Inference(TGI)正式在 AWS Inferentia2 和 Amazon SageMaker 上全面可用,通过 Tensor Parallelism 与连续批处理服务 Llama、Mistral 等开源 LLM。
Hugging Face 与 AMD 推进合作,现已支持在 AMD Instinct GPU 上无需修改代码运行全部 Transformers 模型和任务,并初步支持 Text Generation Inference(TGI)在 MI210、MI250 上部署。