跳到正文

全部动态

今日 4 条
1月23日周四
1月10日周五
12月19日周四
  1. Hugging Face Blog75

    Answer.AI 与 LightOn 发布 ModernBERT:取代 BERT 的编码器模型系列

    Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个规模,作为任何 BERT 类模型的即插即用替代。

    推荐理由:从架构到训练的完整技术拆解,并附论文、预训练 checkpoint 与微调路径,便于判断能否替换现有 BERT 类编码器。

12月18日周三
12月17日周二
12月5日周四
  1. Hugging Face Blog66

    Google 发布 PaliGemma 2 视觉语言模型,新增 10B 和 28B 版本

    Google 发布新一代视觉语言模型 PaliGemma 2,沿用 SigLIP 图像编码器并将文本解码器升级为 Gemma 2,提供 3B、10B、28B 三种规模,均支持 224x224、448x448、896x896 三种输入分辨率,而上一代 PaliGemma 只有 3B 版本。

    推荐理由:Google 发布 PaliGemma 2 视觉语言模型,相比前代只提供 3B,补上了 10B、28B 与三种输入分辨率,可用于判断自己的微调选型空间。

11月26日周二
11月20日周三
10月22日周二
10月4日周五
  1. Hugging Face Blog34

    Hugging Face 推出 Open FinLLM Leaderboard,专注金融大模型评测

    Hugging Face 发布 Open FinLLM Leaderboard,一个面向金融领域的专用大模型评测榜单,覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务,采用零样本评估且无需微调。评测指标包括 Accuracy、F1 Score、ROUGE Score 和 MCC,任务数据集来自 FinQA、TATQA、ECTSum、EDTSum 等真实金融场景。

9月25日周三
  1. Hugging Face Blog82

    Llama 3.2 发布:支持视觉与端侧运行

    Meta 发布 Llama 3.2,共 10 个开放权重模型,包含 5 个多模态模型和 5 个纯文本模型。Llama 3.2 Vision 提供 11B 和 90B 两个规模,均有 base 与指令微调版本,视觉模型上下文长度为 128k tokens;文本模型新增 1B 和 3B 两种规格,面向端侧场景,训练使用最多 9 万亿 tokens。

    推荐理由:文章给出 10 个开放权重模型与端侧量化运行路径,便于评估多模态开源方案的落地条件。

8月12日周一
7月31日周三
7月23日周二
7月16日周二
  1. Hugging Face Blog70

    Hugging Face 发布 SmolLM 系列小模型并开源 SmolLM-Corpus

    Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M、1.7B 三种参数规模,并开源训练语料 SmolLM-Corpus。该语料由 Mixtral 生成的 Cosmopedia v2(28B tokens)、Python-Edu(4B tokens)和去重后的 FineWeb-Edu(220B tokens)组成。

    推荐理由:SmolLM 把数据配比、训练细节和评测结果一并公开,可供读者判断小模型在端侧可用的边界。

6月27日周四
6月12日周三
5月24日周五
5月14日周二
4月18日周四
  1. Hugging Face Blog78

    Meta 发布 Llama 3 开源大模型,8B 与 70B 双规格上线 Hugging Face

    Meta 发布 Llama 3,包含 8B 和 70B 两种参数规模,各有 base 与 instruct 微调版本,并同步推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2,共 5 个开放权重模型上线 Hugging Face。

    推荐理由:梳理 Llama 3 四款模型的规格、tokenizer 变化与 Hugging Face 生态集成方式,便于评估其部署与微调成本。

4月15日周一
  1. Hugging Face Blog62

    Hugging Face 发布 Idefics2:8B 视觉语言模型,Apache 2.0 开源

    Hugging Face 发布 Idefics2,一个 8B 参数、Apache 2.0 开源许可的多模态模型,可接收任意文本与图像序列并生成文本回复。它在视觉问答基准上表现处于同等规模领先水平,可与 LLaVa-NeXT-34B、MM1-30B-chat 等更大模型竞争,并已集成进 Transformers。

    推荐理由:8B 开源多模态模型在视觉问答基准上对标更大模型,并附指令微调数据集,可据此判断社区多模态微调的起点。

4月9日周二
  1. Hugging Face Blog62

    Google 发布 CodeGemma 代码模型系列

    Google 发布开源代码模型系列 CodeGemma,基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练,包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本,上下文长度均为 8K。

    推荐理由:原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式,便于评估其在代码补全场景的定位。

2月28日周三
2月21日周三
  1. Hugging Face Blog70

    Hugging Face 发文欢迎 Google 开源 LLM 家族 Gemma

    Google 发布开源 LLM 家族 Gemma,包含 2B 和 7B 两个尺寸,各有基础版与指令微调版共 4 个模型,基于 Gemini 打造,上下文长度 8K tokens,可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。

    推荐理由:Google 开源 Gemma 2B 与 7B 双尺寸模型,本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。

2月3日周六
  1. Hugging Face Blog60

    Segmind 发布 SegMoE 扩散专家混合框架

    Segmind 发布 SegMoE 框架,可从零构建混合专家(MoE)扩散模型,并已集成 diffusers,同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码(Apache 2.0)。

    推荐理由:原文给出了从配置到生产的完整流程和显存占用数据,读者可以据此判断是否用 MoE 方式拼装扩散模型。

1月19日周五
1月4日周四
12月11日周一
9月13日周三
9月8日周五
  1. Hugging Face Blog63

    Diffusers 为 SDXL 加入 T2I-Adapter 可控生成支持

    Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中为 Stable Diffusion XL(SDXL)加入 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等多种条件的 checkpoint。

    推荐理由:Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 适配器接入 diffusers,并给出从零训练的配置与参数对比,便于读者评估可控生成的开销与接入方式。

9月6日周三
8月25日周五
  1. Hugging Face Blog85

    Meta 发布 Code Llama:Llama 2 的代码专用版本并接入 Hugging Face 生态

    Meta 发布 Code Llama,这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的开源代码模型系列,提供 7B、13B、34B 三个参数版本,另有 Python 专用版(额外 1000 亿 token)和指令微调版,采用与 Llama 2 相同的许可协议并允许商用。

    推荐理由:梳理 Code Llama 三个参数版本、Python 与 Instruct 变体的训练构成及生态集成方式,方便对照选型。

8月22日周二
  1. Hugging Face Blog71

    Hugging Face 发布 IDEFICS:Flamingo 的开源复现多模态模型

    Hugging Face 发布 IDEFICS,一个基于公开数据和模型构建的开源视觉语言模型,可复现 DeepMind 未公开的 Flamingo。该模型接受任意图像与文本序列输入并输出文本,提供 base 和 instructed 两种变体,各有 9B 和 80B 参数规模。

    推荐理由:Hugging Face 公开了 Flamingo 的开源复现细节,读者可了解其数据构成与双版本参数规模。

8月1日周二
7月18日周二
  1. Hugging Face Blog79

    Meta 发布 Llama 2,Hugging Face 全面集成

    Meta 发布开源大语言模型家族 Llama 2,包含 7B、13B、70B 参数规模,以宽松社区许可开放并允许商用,代码、预训练模型和微调模型同日放出。

    推荐理由:文章给出了 Llama 2 的模型规格、商用许可和完整部署与微调路径,便于读者评估落地成本。

6月5日周一
  1. Hugging Face Blog72

    Falcon 模型已接入 Hugging Face 生态

    Hugging Face 发布博客介绍阿布扎比 TII 以 Apache 2.0 开源的 Falcon 系列模型,包括 Falcon-40B 和 Falcon-7B 及其 Instruct 版本,并给出在 HF 生态中运行与微调的具体做法。

    推荐理由:HF 官方给出 Falcon 40B/7B 从推理、量化到 QLoRA 微调的可复用命令与显存要求,便于在自己硬件上复现。

5月15日周一
5月4日周四
  1. Hugging Face Blog71

    BigCode 发布 StarCoder:面向代码的开源 LLM,HumanEval 达 40.8%

    BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。

    推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。

3月6日周一
  1. Hugging Face Blog65

    Kakao Brain 发布 ViT 与 ALIGN 模型及 7 亿对图文数据集 COYO

    Kakao Brain 与 Hugging Face 发布开源图文数据集 COYO(7 亿对)以及基于该数据集训练的 ViT 和 ALIGN 两个视觉语言模型,这是 ALIGN 首次免费开源,也是 ViT、ALIGN 首次附带公开训练数据发布。

    推荐理由:首个开源 ALIGN 模型连同 700M 训练数据集一并放出,读者可据此判断复现视觉语言建模的可行性。

10月5日周三