用 OpenAI o1 模型解决复杂问题
OpenAI 发布视频，展示 o1 推理模型如何帮助编程、战略与研究等领域的复杂问题求解。
#编码
#编码
今日 0 条OpenAI NewsAI 评分4646
Hugging Face BlogAI 评分4343 BigCodeBench：下一代 HumanEval 基准发布
Hugging Face 发布 BigCodeBench，包含 1,140 个函数级任务，需组合 139 个库中的多次函数调用，用于评测 LLM 在无污染的真实编程任务上的能力。每个任务平均配 5.6 个测试用例，分支覆盖率平均 99%，并另设更难、面向指令微调模型的 BigCodeBench-Instruct 变体。
Hugging Face BlogAI 评分3737 Meta 发布 CyberSecEval 2：评估 LLM 网络安全风险与能力的评测框架
Meta 推出 CyberSecEval 2，用于评估 LLM 生成不安全代码、抵抗提示词注入、配合网络攻击、滥用代码解释器以及自动化攻击性网络安全能力。相比 2023 年 12 月的首版，LLM 配合网络攻击请求的平均合规率从 52% 降至 28%。所有代码已开源，可接入排行榜。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：完全透明可许可的自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个用完全可许可且透明的管线自对齐训练的代码大语言模型。它用 StarCoder2-15B 自行生成数千条指令-响应对再微调自身，不使用人工标注或大型闭源模型的蒸馏数据，在 HumanEval 上取得 72.6 分，超过 CodeLlama-70B-Instruct 的 72.0 分。
推荐理由：原文公开了完全透明的自对齐数据管线，读者可据此了解不依赖 GPT-4 蒸馏也能训练代码指令模型。
Hugging Face BlogAI 评分4444 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，通过按发布时间标注 LeetCode、AtCoder、CodeForces 题目，支持按时间窗口滚动评估以检测和防止数据污染。
Hugging Face Blog精选AI 评分6262 Google 发布 CodeGemma 代码模型系列
Google 发布开源代码模型系列 CodeGemma，基于预训练的 2B 和 7B Gemma checkpoint 进一步用 5000 亿 token 的英文、数学和代码数据训练，包含专注代码填充的 2B 基础模型、混合代码与自然语言的 7B 基础模型和面向对话的 7B Instruct 三个版本，上下文长度均为 8K。
推荐理由：原文给出三个规格的 CodeGemma 及其在 HumanEval 等基准上的对比数据和 FIM 提示词格式，便于评估其在代码补全场景的定位。
Hugging Face Blog精选AI 评分6767 BigCode 发布 StarCoder2 代码模型，并推出 The Stack v2 数据集
BigCode 发布透明训练的开放代码大模型 StarCoder2，含 3B、7B、15B 三个参数版本，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 同时放出 3B/7B/15B 三档代码模型与 67.5TB 数据集，可据此判断开源代码模型的当前水位。
Hugging Face BlogAI 评分3232 在 Intel Xeon 上用 Optimum Intel 加速 StarCoder：Q8/Q4 量化与推测解码
借助 8bit、4bit 量化与辅助生成（assisted generation），StarCoder-15B 在第四代 Intel Xeon 上实现超过 7 倍推理加速。
Hugging Face Blog精选AI 评分6262 Personal Copilot：如何训练自己的代码助手
Hugging Face 博客介绍了 HugCoder 的构建流程，用 top 10 公开仓库代码微调 StarCoder，使其补全自家代码库。
推荐理由：完整给出从代码数据采集到 QLoRA 微调 StarCoder、再接入 VS Code 的全流程与成本对比，可迁移到自有代码库。
Hugging Face BlogAI 评分2828 Hugging Face 对比 SafeCoder 与闭源代码助手
Hugging Face 发文对比企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务。SafeCoder 基于 155 亿参数的 StarCoder 模型，支持 80 多种编程语言、8192 token 上下文窗口和 fill-in-the-middle，使用 Docker 容器，可本地或云端部署并完全离线运行。
Hugging Face Blog精选AI 评分8585 Meta 发布 Code Llama：Llama 2 的代码专用版本并接入 Hugging Face 生态
Meta 发布 Code Llama，这是基于 Llama 2 初始化、在 5000 亿 token 代码数据上训练的开源代码模型系列，提供 7B、13B、34B 三个参数版本，另有 Python 专用版（额外 1000 亿 token）和指令微调版，采用与 Llama 2 相同的许可协议并允许商用。
推荐理由：梳理 Code Llama 三个参数版本、Python 与 Instruct 变体的训练构成及生态集成方式，方便对照选型。
Hugging Face BlogAI 评分4242 Hugging Face 推出企业级自托管代码助手 SafeCoder
Hugging Face 发布 SafeCoder，一套面向企业的端到端自托管代码助手方案，核心是 StarCoder 系列代码大模型。它并非模型本身，而是让客户在自己的基础设施上微调并部署专有 Code LLM，训练与推理阶段代码都不离开客户 VPC。
Hugging Face BlogAI 评分2525 用开源 ML 模型打造 Web 应用生成器
Hugging Face 发布教程，用 NodeJS 搭配 WizardCoder-15B 与 Inference Endpoints API 构建 AI 网页应用生成器，通过流式输出边生成边渲染 HTML。
Hugging Face Blog精选AI 评分7171 BigCode 发布 StarCoder：面向代码的开源 LLM，HumanEval 达 40.8%
BigCode（Hugging Face 与 ServiceNow 联合）发布 StarCoder 和 StarCoderBase 代码大模型，基于 GitHub 宽松许可数据训练，覆盖 80+ 编程语言，约 15B 参数、训练 1 万亿 token。
推荐理由：StarCoder 是 BigCode 推出的开源代码大模型，约 15B 参数、上下文 8k，在 HumanEval 上以 40.8% 超过 CodeGen-16B-Mono 和 OpenAI code-cushman-001，并公开权重与数据集。
Hugging Face BlogAI 评分2424 AI 游戏开发实战：5 天做出一款农场游戏（第 2 部分：游戏设计）
Hugging Face 的系列教程第二部分展示如何用 ChatGPT 辅助农场游戏的游戏设计，作者让 ChatGPT 以专业游戏设计师身份给出作物多样性、进阶系统、动态环境、社交与剧情等核心玩法建议，并只对前两项做了灰盒实现。文中还介绍了语言模型与 Transformer 原理、RLHF 的作用，以及 ChatGPT 常用于头脑风暴与加速开发、而非取代开发流程的定位。
Hugging Face BlogAI 评分3737 Hugging Face 从零训练 GPT-2 模型 CodeParrot，自动补全 Python 代码
Hugging Face 发布教程，介绍如何从零训练 1.5B 参数的 GPT-2 large 模型 CodeParrot，用于自动补全 Python 代码。团队从 GitHub 数据中过滤出 180 GB、2000 万个 Python 文件，去重清洗后得到 50GB 数据集 codeparrot-clean，并基于 GPT-2 分词器在代码上重新训练。
Hugging Face BlogAI 评分3333 将 fairseq wmt19 翻译系统移植到 transformers
Hugging Face 博客记录了将 Facebook FAIR 的 fairseq wmt19 翻译系统移植到 transformers 的过程，作者 Stas Bekman 在 Sam Shleifer 建议下完成移植，并新增 configuration_fsmt.py、modeling_fsmt.py、tokenization_fsmt.py 及转换脚本等文件。