Hugging Face 教程:让 OpenAI Codex 端到端训练开源模型
Hugging Face 发布教程,展示如何用 HF Skills 让 OpenAI Codex 完成端到端机器学习实验:验证数据集、选择硬件、生成并提交训练任务、监控进度、评估模型并生成报告。
推荐理由:完整演示了把端到端微调实验交给编码智能体的整套流程,可据此迁移到自己的训练任务。
AI 写代码的一切:编码助手、Vibe Coding、代码模型评测与开发工作流变革。
Hugging Face 发布教程,展示如何用 HF Skills 让 OpenAI Codex 完成端到端机器学习实验:验证数据集、选择硬件、生成并提交训练任务、监控进度、评估模型并生成报告。
推荐理由:完整演示了把端到端微调实验交给编码智能体的整套流程,可据此迁移到自己的训练任务。
Google DeepMind 发布 Gemini 3 Pro,称其在各项主要 AI 基准上超过此前版本,并在编码上超过 2.5 Pro,兼顾智能体工作流与复杂零样本任务。
推荐理由:官方给出 Gemini 3 Pro 的定价、基准成绩和配套工具入口,可据此判断它在编码与智能体工作流中的位置。
Google DeepMind 发布 Gemini 3,首发 Gemini 3 Pro 预览版并当天上线 Gemini 应用、AI Studio、Vertex AI 和新的智能体开发平台 Google Antigravity。
推荐理由:Gemini 3 Pro 与 Deep Think 的同期亮相,加上多项基准的提升,可供读者判断前沿模型的推理与智能体能力走到哪一步。
Open R1 发布第三期更新,包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克(IOI)的新基准,以及微调的 7B 和 32B 模型 OlympicCoder。
推荐理由:Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型,可看蒸馏训练的具体做法与教训。
Answer.AI 与 LightOn 发布 ModernBERT,一个仅编码器模型系列,包含 base(149M 参数)和 large(395M 参数)两个规模,作为任何 BERT 类模型的即插即用替代。
推荐理由:从架构到训练的完整技术拆解,并附论文、预训练 checkpoint 与微调路径,便于判断能否替换现有 BERT 类编码器。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,这是首个用完全可许可且透明的管线自对齐训练的代码大语言模型。它用 StarCoder2-15B 自行生成数千条指令-响应对再微调自身,不使用人工标注或大型闭源模型的蒸馏数据,在 HumanEval 上取得 72.6 分,超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由:原文公开了完全透明的自对齐数据管线,读者可据此了解不依赖 GPT-4 蒸馏也能训练代码指令模型。
Google 发布开源代码模型系列 CodeGemma,基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练,包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本,上下文长度均为 8K。
推荐理由:原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式,便于评估其在代码补全场景的定位。
BigCode 发布透明训练的开放代码大模型 StarCoder2,含 3B、7B、15B 三个参数版本,分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由:BigCode 同时放出 3B/7B/15B 三档代码模型与 67.5TB 数据集,可据此判断开源代码模型的当前水位。
Hugging Face 博客介绍了 HugCoder 的构建流程,用 top 10 公开仓库代码微调 StarCoder,使其补全自家代码库。
推荐理由:完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比,可迁移到自有代码库。
Meta 发布 Code Llama,这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的开源代码模型系列,提供 7B、13B、34B 三个参数版本,另有 Python 专用版(额外 1000 亿 token)和指令微调版,采用与 Llama 2 相同的许可协议并允许商用。
推荐理由:梳理 Code Llama 三个参数版本、Python 与 Instruct 变体的训练构成及生态集成方式,方便对照选型。
BigCode(Hugging Face 与 ServiceNow 联合)发布 StarCoder 和 StarCoderBase 代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80+ 编程语言,约 15B 参数、训练 1 万亿 token。
推荐理由:StarCoder 是 BigCode 推出的开源代码大模型,约 15B 参数、上下文 8k,在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001,并公开权重与数据集。