BigCode 发布 StarCoder2 代码模型,并推出 The Stack v2 数据集
BigCode 发布透明训练的开放代码大模型 StarCoder2,含 3B、7B、15B 三个参数版本,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由:BigCode 同时放出 3B/7B/15B 三档代码模型与 67.5TB 数据集,可据此判断开源代码模型的当前水位。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
BigCode 发布透明训练的开放代码大模型 StarCoder2,含 3B、7B、15B 三个参数版本,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由:BigCode 同时放出 3B/7B/15B 三档代码模型与 67.5TB 数据集,可据此判断开源代码模型的当前水位。
Google 发布开源 LLM 家族 Gemma,包含 2B 和 7B 两个尺寸,各有基础版与指令微调版共 4 个模型,基于 Gemini 打造,上下文长度 8K tokens,可在消费级 GPU、TPU 甚至 CPU 与端侧设备上运行。
推荐理由:Google 开源 Gemma 2B 与 7B 双尺寸模型,本文给出 8K 上下文、消费级硬件运行及与 Transformers 生态的完整集成路径。
Hugging Face 博客以金融新闻投资者情绪识别为例,展示用开源 Mixtral-8x7B-Instruct-v0.1 生成合成数据、再用 AutoTrain 蒸馏出约 0.13B 参数的 RoBERTa 分类模型的流程。
推荐理由:以金融情绪识别为例,给出用开源 LLM 生成合成数据再蒸馏小模型的可复用流程与成本对比。
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API。
推荐理由:TGI 1.4.0 起提供 OpenAI 兼容的 Messages API,读者可据此评估把现有 OpenAI 代码迁移到开源模型的成本。
Segmind 发布 SegMoE 框架,可从零构建混合专家(MoE)扩散模型,并已集成 diffusers,同时开源 SegMoE-4x2、SegMoE-2x1 和 SegMoE-SD4x2 三个模型及建模代码(Apache 2.0)。
推荐理由:原文给出了从配置到生产的完整流程和显存占用数据,读者可以据此判断是否用 MoE 方式拼装扩散模型。
Hugging Face 公开了一套用开源模型做 Constitutional AI 的端到端配方,覆盖自我批判、修订、SFT 与 DPO 全流程,并发布了 Anthropic constitution 与 Grok 风格两个版本的 CAI 数据集,以及基于 Mistral-7B 的 DPO/SFT 模型。
推荐理由:Hugging Face 公开了一套在开源模型上做 Constitutional AI 的完整配方,包括数据集、模型与集群推理工具,便于复现细粒度对齐。
Hugging Face 在 LangChain 中集成 ChatHuggingFace 封装,让开源模型可构建 ReAct 智能体,并对比了多个开源模型与 GPT-3.5、GPT-4 的表现。
推荐理由:对比多个开源模型在 ReAct 智能体上的评测结果,并给出 LangChain 接入代码示例。
Hugging Face 博客发布教程,介绍如何借助 ComfyUI-to-Python-Extension 将 ComfyUI 工作流导出为纯 Python 脚本,改写为 Gradio 应用后部署到 HF Mirror Spaces 的 ZeroGPU 上免费运行。
推荐理由:教程给出把 ComfyUI 工作流转成 Gradio 应用并部署到 ZeroGPU 的完整步骤,包含模型映射与预加载等工程细节,可复用性强。
Hugging Face 博客介绍社区工具 Unsloth,声称 LLM 微调速度提升 2 倍、显存占用降低 40% 且相对标准 QLoRA 精度 0% 下降。
推荐理由:原文给出了 Unsloth 与 TRL 的接入代码和 59 次基准数据,读者可据此判断自己微调任务的加速与显存收益。
Hugging Face 发布 SDXL LoRA 高级训练脚本,把 Pivotal Tuning 与 Prodigy 优化器等社区 SOTA 做法整合进 diffusers,并提供 Colab 与带 UI 的训练 Space。
推荐理由:整理 SDXL Dreambooth LoRA 微调的社区最佳实践,包括 Pivotal Tuning、Prodigy 优化器与数据集构建等可复用方法。
Mistral 发布 Mixtral 8x7B,采用 MoE 架构,含 base 与 Instruct 版本,支持 32k token 上下文,HumanEval 得分 40.2%,在多数基准上追平或超过 GPT-3.5,并以 Apache 2.0 许可开放。
推荐理由:Mistral 开源 MoE 模型登顶开放权重榜,文中量化数据可帮助读者判断本地部署门槛。
Hugging Face 发布 Optimum-NVIDIA 推理库,在 NVIDIA 平台上只需把 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码,即可获得最高 28 倍吞吐提升和 1200 token/秒的速度。
推荐理由:原文给出单行代码替换的接入方式和首 token 延迟、吞吐的对比数据,读者可据此判断自身部署的提速空间。
Hugging Face 发布 LCM LoRA,把 SDXL 的推理步数从 25 到 50 步降到 4 到 8 步,方法是不蒸馏整个模型,只训练少量 LoRA 适配器,再配合 LCMScheduler 使用。
推荐理由:原文给出了 LCM LoRA 的原理、代码和跨硬件基准,读者可据此评估在现有 SDXL 流程中提速的可行性。
Hugging Face 博客介绍了 HugCoder 的构建流程,用 top 10 公开仓库代码微调 StarCoder,使其补全自家代码库。
推荐理由:完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比,可迁移到自有代码库。
Hugging Face 的 tokenizer 新增 chat_template 属性,用 Jinja 模板保存模型训练时使用的对话格式,并把对话历史转换为正确格式的字符串,以避免因格式不匹配导致的静默性能下降。
推荐理由:原文说明格式错配会静默拖垮模型表现,并给出把格式信息随 tokenizer 保存和加载的具体做法。
Würstchen 是 Hugging Face 推出的文本条件扩散模型,在高度压缩的潜空间中工作,实现 42x 空间压缩,远高于常见的 4x-8x。
推荐理由:原文给出 42x 空间压缩与训练算力对比,读者可据此判断低成本图像生成模型的效率边界。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中为 Stable Diffusion XL(SDXL)加入 T2I-Adapter 支持,并发布 sketch、canny、lineart、depth、openpose 等多种条件的 checkpoint。
推荐理由:Diffusers 团队与 T2I-Adapter 作者合作把 SDXL 适配器接入 diffusers,并给出从零训练的配置与参数对比,便于读者评估可控生成的开销与接入方式。
TII 发布 1800 亿参数的 Falcon 180B,并在 Hugging Face 上线 base 与 chat 版本,训练使用 3.5 万亿 token,共约 7,000,000 GPU 小时。
推荐理由:TII 的 Falcon 180B 登陆 Hugging Face,原文给出与 Llama 2、PaLM-2 的评测对比和显存、量化配置门槛。
Meta 发布 Code Llama,这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的开源代码模型系列,提供 7B、13B、34B 三个参数版本,另有 Python 专用版(额外 1000 亿 token)和指令微调版,采用与 Llama 2 相同的许可协议并允许商用。
推荐理由:梳理 Code Llama 三个参数版本、Python 与 Instruct 变体的训练构成及生态集成方式,方便对照选型。
Hugging Face 把 AutoGPTQ 库集成进 Transformers,用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度并直接运行,4-bit 量化精度损失可忽略,小批量推理速度与 fp16 基线相当。
推荐理由:原文给出 GPTQ 量化接入 Transformers 后的精度、显存与推理延迟对比数据,可作为本地部署选型参考。