Google 用 AI 预测森林砍伐风险、绘制物种分布图并升级生物声学模型 Perch
Google 发布森林砍伐风险预测基准数据集,基于纯卫星输入和 vision transformer 架构,可在大范围区域内实现 30 米分辨率预测。
Google 发布森林砍伐风险预测基准数据集,基于纯卫星输入和 vision transformer 架构,可在大范围区域内实现 30 米分辨率预测。
一篇新研究提出以分治法(divide and conquer)替代时序差分(TD)学习的 off-policy 强化学习算法,将 Bellman 递归次数从线性降到对数级,从而扩展至长时程任务。
NVIDIA 发布 Nemotron-Personas-India,首个面向印度人格的开放合成数据集,采用 CC BY 4.0 许可,含 2100 万条 persona、77 亿 token,覆盖印度全部 36 个邦和 640 个地区,支持英语和印地语(天城文与拉丁文)。
Hugging Face 发布 Retrieval Embedding Benchmark(RTEB)beta 版,用公开与私有数据集混合的方式评测嵌入模型的真实检索准确率。RTEB 覆盖 20 种语言及法律、医疗、代码、金融等领域,每个数据集至少 1k 文档和 50 queries,默认榜单指标为 NDCG@10,私有数据集由 MTEB 维护者评测。
NVIDIA 发布 Nemotron-Personas-Japan,一个面向日本主权 AI 的开放合成画像数据集,共 600 万条自然日语画像,采用 CC BY 4.0 授权,可商用与非商用。
Meta 发布 GAIA 的后续基准 Gaia2 以及开源框架 Meta Agents Research Environments(ARE),用于运行、调试和评测智能体。
推荐理由:Meta 发布 Gaia2 基准与 ARE 环境源码,给出多模型在模糊、噪声与时间推理任务上的实测结果,便于对照自身智能体能力。
SandboxAQ 开源 Structurally Augmented IC50 Repository(SAIR),包含超 500 万个 AI 生成的高精度蛋白质-配体 3D 结构,每个结构都配有来自 ChEMBL 或 BindingDB 的实验测定 IC₅₀ 数据,以 CC BY 4.0 许可免费开放。
研究证明 word2vec 在现实训练条件下可归结为无权重最小二乘矩阵分解,梯度流动态存在闭式解,最终学到的表示等价于对矩阵 M* 做 PCA。该矩阵仅由语料共现概率、unigram 概率等可测统计量和超参数决定,其顶部特征向量对应可解释概念:名人传记、政府市政、地理描述等。
NVIDIA 发布 600 万多语言推理数据集 Nemotron Post-Training Dataset V2,将原有英文推理数据翻译为法语、西班牙语、德语、意大利语和日语五种语言,并保留原始英文推理链。
AI-MO 与 Kimi 开源 kimina-prover-rl 训练流程,基于 DeepSeek-R1 式"先推理后生成"范式,兼容 Verl 框架,并随附 1.7B 与 0.6B 两个模型。
Hugging Face 发布 TextQuests 基准,基于 25 款经典 Infocom 互动小说游戏评测 LLM 的智能体能力,每局最多执行 500 步,分带官方提示与无提示两轮运行,并用游戏进度和 Harm 两项指标打分。
Hugging Face 推出 FilBench,一个覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言的评测套件,含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务,并基于 Lighteval 构建,已作为社区任务上线官方 Lighteval 仓库。
Hugging Face 推出 3LM(علم),首个专门评估阿拉伯语 LLM 在 STEM 与代码生成能力的多组件基准,包含 865 道真实 STEM 选择题、1744 道合成高难度题,以及译成阿拉伯语的 HumanEval+ 和 MBPP+ 代码任务。
Hugging Face 开源基准 TimeScope,通过在 1 分钟至 8 小时的长视频中插入 5-10 秒"针"片段,评测视频大模型的定位检索、信息综合与细粒度时序感知三项能力。测试显示,即便 Gemini 2.5-Pro 等领先模型在真正的长视频时序理解上仍显吃力,且视频越长性能下滑越明显。
Hugging Face 发布 FutureBench,通过让 AI 智能体预测真实未来事件来评测其推理能力,避免传统基准的数据污染问题。该基准用基于 smolagents 的智能体抓取新闻生成预测问题,并接入 Polymarket 预测市场,每周分别产出约 5 个新闻问题和 8 个市场问题,答案可随时间验证。
Hugging Face 宣布举办 NeurIPS 2025 E2LM 竞赛,面向科学知识领域构建能在 LLM 训练早期(约 200B tokens 前)捕捉有效信号的新基准。
Hugging Face 发布 ScreenSuite,称其为面向 GUI Agent 最全面的评测套件,整合 13 个基准,覆盖感知、Grounding、单步动作与多步智能体四类能力。
推荐理由:原文给出 13 个基准的构成与纯视觉评测设定,可据此了解 GUI Agent 评测如何统一与本地复现。
Hugging Face 分享研究,提出让 CodeAgent 以结构化 JSON 同时输出 thoughts 和可执行 code,在 GAIA、MATH、SimpleQA、Frames 等基准上比普通 CodeAgent 平均提升 2-7 个百分点。
Hugging Face 发布 HELMET 长上下文语言模型评估基准,已评估 59 个近期 LCLM,主张跨多样下游任务评估才能真正区分模型能力。
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards Space,将阿拉伯语 AI 评测集中到一处,目前上线 AraGen-03-25 和阿拉伯语指令遵循两个榜单。
Open R1 发布第三期更新,包括从 DeepSeek-R1 蒸馏的近 10 万条 C++ 与 Python 竞赛编程思维链数据集 CodeForces-CoTs、基于 2024 国际信息学奥林匹克(IOI)的新基准,以及微调的 7B 和 32B 模型 OlympicCoder。
推荐理由:Open R1 公布了从 R1 蒸馏的代码推理数据集、IOI 基准与两个开源模型,可看蒸馏训练的具体做法与教训。
Yaak 与 Hugging Face 的 LeRobot 团队联合发布 Learning to Drive(L2D),被称为全球最大的开源自动驾驶数据集,包含来自德国 30 个城市、60 辆驾校电动车、历时 3 年采集的 90+ TB 多模态数据,约 5000 小时驾驶记录。
推荐理由:L2D 开源数据集包含 5000+ 小时德国驾校数据,可用于 LeRobot 端到端自动驾驶模型的训练与闭环测试。
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 DeepSeek R1 在 512 张 H100 本地生成 400k 道题的解答,过滤后保留 220k 道含正确推理轨迹的题目。
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2,升级阿拉伯语大模型评测榜。首版 OALL 上线不到 7 个月吸引超 46,000 名访客,收到 700 多个模型提交,参数从 1B 到 70B 以上,来自 180 多个机构,其中超 70% 为 chat 和微调模型,11% 为预训练模型,超半数模型小于 7B。
Adyen 和 Hugging Face 联合推出 DABstep,一个包含 450+ 真实数据分析任务的多步推理数据智能体基准,最强推理型智能体准确率仅 16%。
Hugging Face 的 Open-R1 项目启动一周后发布首份更新,称已能复现 DeepSeek 在 MATH-500 上报告的评测分数,并公开了评测排行榜。
推荐理由:Open-R1 团队复现 DeepSeek-R1 评测并公开数据生成与 GRPO 训练的工程细节,可供复现者参考。
Artificial Analysis 发布 Big Bench Audio 评测数据集,将 Big Bench Hard 的 1000 道题改编为音频形式,用于评估音频语言模型的推理能力。
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本到图像偏好数据集,覆盖常见图像生成类别并混合不同模型家族与提示词复杂度。数据集基于 Flux 和 Stable Diffusion 模型生成图像,配套提供 flux-dev-lora-finetune。
Hugging Face 发布 AraGen,一个面向阿拉伯语 LLM 的生成式任务基准与排行榜,采用基于 LLM-as-judge 的新评估指标 3C3H,从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度打分。AraGen 同时覆盖开源与闭源模型,采用动态评估策略:数据集与评估代码先保密三个月进行盲测,期满后公开并替换为新私有基准,以缓解数据污染。
BAAI 推出 FlagEval Debate 平台,让大模型直接对辩,目前支持中文、英文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制,并提供开发者自定义参数与实时调试能力,以解决静态评测和 Chatbot Arena 等现有平台缺乏区分度、模型各自生成不真正交互、投票存在风格偏好的问题。
Cohere 研究实验室 Cohere For AI 发布 Aya Expanse 系列多语言模型,包含 8B 和 32B 两个参数规模,并以开放权重形式发布。
推荐理由:原文给出 Aya Expanse 8B/32B 的对比胜率与技术管线细节,可了解多语言训练中数据套利与模型合并的具体做法。
Hugging Face 发布 CinePile 2.0 长视频问答数据集,并开源一种名为对抗式精炼的新方法。初版 CinePile 于 2024 年 5 月推出,含约 30 万训练样本和 5000 测试样本,人类在该基准上比最强商业视觉模型高出 25%、比开源模型高出 65%;2.0 版本由 HF Mirror 参与,针对退化问题和视觉依赖等缺陷做改进,该方法可直接用于强化现有数据集。
Hugging Face 博客介绍了与 Intel Labs 共同开发的动态投机解码方法,已集成进 Transformers 4.45.0,并成为辅助生成的默认工作模式。
Hugging Face 发布 BenCzechMark,称其为首个也是最全面的捷克语 LLM 评测套件,含 50 项任务、9 个类别,90% 任务为原生非翻译内容。配套排行榜已收录 25 个以上不同规模的开源模型,覆盖阅读理解、事实知识、语言建模、数学推理等维度,评测指标包括 Acc、EM、AUROC 和词级困惑度。
Hugging Face 发布 FineVideo 数据集,包含 4.3 万条视频、总计 3400 小时,并标注了描述、叙事细节、场景切分和问答对。
Hugging Face 复现 Google 的 Infini-Attention 时发现,随着记忆压缩次数增加,模型性能持续下降,团队约 90% 的时间都花在调试一个收敛问题上。作者认为,ring attention、YaRN 和 rope scaling 目前仍是扩展预训练模型上下文长度的最佳方式。
Hugging Face 提出 LAVE(LLM-Assisted VQA Evaluation),将 VQA 评测重构为 LLM 的答案评分任务,用 Llama-2-Chat-7b 对 Docmatix 200 张图像的零样本生成答案按 1-3 分打分并映射到 [0,1]。
Hugging Face 发布 Docmatix,一个规模达 240 倍于以往数据集的文档视觉问答(DocVQA)数据集,包含 240 万张图像和 950 万对 Q/A,源自 130 万份 PDF。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。
Hugging Face 发布 BigCodeBench,包含 1,140 个函数级任务,需组合 139 个库中的多次函数调用,用于评测 LLM 在无污染的真实编程任务上的能力。每个任务平均配 5.6 个测试用例,分支覆盖率平均 99%,并另设更难、面向指令微调模型的 BigCodeBench-Instruct 变体。