BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型直接对辩，目前支持中文、英文、阿拉伯语和韩语四种语言。平台采用专家评审与用户投票的双重评估机制，并提供开发者自定义参数与实时调试能力，以解决静态评测和 Chatbot Arena 等现有平台缺乏区分度、模型各自生成不真正交互、投票存在风格偏好的问题。
#推理
#推理
今日 3 条Hugging Face BlogAI 评分4444 Hugging Face BlogAI 评分3232 Hugging Face 详解 LayerSkip 自推测解码：用早期层草稿加速文本生成
Hugging Face 博客介绍了源自 LayerSkip 论文的自推测解码（self-speculative decoding）：用同一 LLM 的浅层生成草稿 token、深层负责验证，无需额外草稿模型即可同时提升速度并节省显存。
Hugging Face BlogAI 评分5858 Hugging Face 与 Intel Labs 提出 Universal Assisted Generation：任意辅助模型加速解码
Hugging Face 与 Intel Labs 提出 Universal Assisted Generation（UAG），通过双向 tokenizer 转换，让目标模型可以搭配任意模型家族的更小辅助模型，对任意 decoder 或 MoE 模型实现 1.5x-2.0x 推理加速。
Hugging Face Blog精选AI 评分6868 Transformers.js v3 发布：支持 WebGPU、新模型与量化格式
Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持，官方称推理速度最高比 WASM 快 100 倍，只需在加载模型时设置 device: 'webgpu'。
推荐理由：官方发布浏览器端推理库大版本，WebGPU 与量化格式的变化直接影响前端模型部署方式。
Hugging Face BlogAI 评分4242 Llama 3.2 已在 Keras 中可用
Llama 3.2 的 Keras 支持从发布第一天起就已可用，可直接从 HF 标准 safetensors checkpoint 加载，包括 3.2 checkpoint，需要转换时会即时完成。
OpenAI NewsAI 评分4646 用 OpenAI o1 模型解决复杂问题
OpenAI 发布视频，展示 o1 推理模型如何帮助编程、战略与研究等领域的复杂问题求解。
Hugging Face BlogAI 评分5353 Hugging Face 发布动态投机解码，辅助生成最高加速 2.7 倍
Hugging Face 博客介绍了与 Intel Labs 共同开发的动态投机解码方法，已集成进 Transformers 4.45.0，并成为辅助生成的默认工作模式。
The GradientAI 评分2626 LLM 聊天机器人缺了什么：有目的的对话
The Gradient 文章指出，MMLU、HumanEval、MATH 等基准日趋饱和，但以非交互方式衡量的分数未必转化为用户体验。作者主张用"有目的的对话"重构人机交互，即以目标或意图为中心的多轮交流，并认为这对 SWE-bench 式的代码生成同样必要。
Hugging Face BlogAI 评分3636 一次失败的实验：Infini-Attention，以及我们为何仍应继续尝试？
Hugging Face 复现 Google 的 Infini-Attention 时发现，随着记忆压缩次数增加，模型性能持续下降，团队约 90% 的时间都花在调试一个收敛问题上。作者认为，ring attention、YaRN 和 rope scaling 目前仍是扩展预训练模型上下文长度的最佳方式。
Hugging Face BlogAI 评分3434 Hugging Face 发布 ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
ggml 是一个用 C/C++ 编写、专注 Transformer 推理的开源机器学习库，核心库自包含在不到 5 个文件中，编译后二进制体积小于 1MB。它支持 x86_64、ARM、Apple Silicon、CUDA 等硬件，并支持量化张量以节省内存，llama.cpp、whisper.cpp、ollama、LM Studio、GPT4All 等均基于它构建。
Hugging Face BlogAI 评分5959 TII 发布 Falcon Mamba 7B：首个强性能无注意力机制模型
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层，以 5500GT 数据训练，权重以 TII Falcon Mamba 7B License 1.0 开源。
Hugging Face BlogAI 评分3434 基于 NVIDIA NIM 的 HF Mirror 无服务器推理 API 发布，支持 Llama 与 Mistral
HF Mirror 面向 Enterprise Hub 组织推出 NVIDIA NIM API（无服务器），可用标准化 OpenAI API 对 Llama、Mistral 等开源模型运行推理。
Hugging Face Blog精选AI 评分8585 Llama 3.1 发布 405B、70B 与 8B 版本，支持多语言与长上下文
Hugging Face 上线 Meta Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的基础与指令微调共六个模型，另发布 Llama Guard 3 和 Prompt Guard。
推荐理由：官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案和微调入口，便于据此评估部署成本。
Hugging Face BlogAI 评分5858 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。
Hugging Face BlogAI 评分2323 Hugging Face 为 Intel Gaudi 优化辅助生成，加速文本生成
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可获得约 2x 加速，同时保持与自回归采样相同的采样质量。
Hugging Face BlogAI 评分3939 Hugging Face 与 Dottxt 用结构化生成提升 Prompt 一致性
Hugging Face 排行榜与评测团队发现，MMLU 等任务的评测结果对 prompt 格式极为敏感，同一模型在不同格式下准确率可相差约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%。为此他们与 Dottxt 合作，用 Outlines 库通过正则表达式或上下文无关文法约束模型输出结构，希望从输出端而非输入端减少 prompt 格式带来的方差。
Hugging Face BlogAI 评分4040 Hugging Face 推出 Open Chain of Thought Leaderboard，按 CoT 准确率增益评测 LLM
Hugging Face 发布 Open Chain of Thought Leaderboard，不评测模型绝对准确率，而是衡量启用与不启用 chain-of-thought 提示后的准确率差值 Δ。榜单覆盖 LogiQA、LSAT 及 AGIEval 中的推理任务，均以多选题形式呈现，CoT 生成采用模块化提示链，已实现 Classic 与 Reflect 两种策略。
The GradientAI 评分2121 LLM 在金融市场的应用：从价格预测到多模态信号
大语言模型的下一 token 预测能力能否迁移到价格与交易序列预测，成为量化交易的新方向。Hudson River Trading 在 2023 年 NeurIPS 上估算，3000 只可交易股票、每日 10 个数据点、每年 252 个交易日可产生 1770 亿市场数据 token，与 GPT-3 的 5000 亿训练 token 量级相近。
The GradientAI 评分4040 Mamba 解析：挑战 Transformer 的状态空间模型
Mamba 是一种基于状态空间模型（SSM）的架构，首次在长序列（如 100 万 token）上达到与 Transformer 相近的性能和缩放规律，推理速度最高可快 5 倍。它通过移除注意力机制的二次瓶颈，实现序列长度的线性缩放，Mamba-3B 在语言建模上超越同规模 Transformer，并匹敌两倍规模的 Transformer。
The GradientAI 评分3636 Car-GPT：LLM 能否最终让自动驾驶汽车成为现实？
文章探讨 LLM 能否成为自动驾驶的"意外答案"，类比 1928 年青霉素的偶然发现。文中先回顾 2010 年代模块化自动驾驶方案（感知、定位、规划、控制四模块），再到端到端学习，并解释 tokenization、Transformer 与 next-word prediction 等 LLM 基础，最后讨论把图像和 LiDAR 点云等传感器数据接入模型的方法。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2（7b、13b、70b）文本生成，并支持 DeepSpeed 分布式推理与 LangChain 集成。
Hugging Face BlogAI 评分2828 Hugging Face 上线 NPHardEval 排行榜：用复杂度类评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类量化评估 LLM 推理能力。
Hugging Face BlogAI 评分2626 PatchTST 时间序列 Transformer 在 HF Mirror 上的上手实践
Hugging Face 博客给出 PatchTST 在 HF Mirror 上的使用示例，先在 Electricity 数据集上训练并评估预测效果，再用预训练模型对 ETTh1 数据集做零样本预测。
Hugging Face Blog精选AI 评分8080 Mistral 发布 Mixtral 8x7B 开源 MoE 模型，Hugging Face 全面接入
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，含 base 与 Instruct 版本，支持 32k token 上下文，HumanEval 得分 40.2%，在多数基准上追平或超过 GPT-3.5，并以 Apache 2.0 许可开放。
推荐理由：Mistral 开源 MoE 模型登顶开放权重榜，文中量化数据可帮助读者判断本地部署门槛。
Hugging Face BlogAI 评分5353 Hugging Face 与 AMD 合作：Transformers 与 TGI 实现 AMD GPU 开箱即用加速
Hugging Face 与 AMD 推进合作，现已支持在 AMD Instinct GPU 上无需修改代码运行全部 Transformers 模型和任务，并初步支持 Text Generation Inference（TGI）在 MI210、MI250 上部署。
Hugging Face BlogAI 评分3737 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 做文本生成，可通过 Neuron DLAMI 使用或手动安装。官方在 hub 上传了 Llama 2 7B 和 13B 的预编译版本，按预算、延迟、吞吐三种配置编译，最大序列长度 2048，支持贪心搜索与 top-k、top-p 采样。
The GradientAI 评分2323 The Gradient 长文：神经算法推理如何用神经网络捕捉经典计算
The Gradient 刊文讨论神经算法推理，即用深度神经网络捕捉最短路、排序等经典算法。MIT 论文《What Can Neural Networks Reason About?》提出算法对齐概念，证明架构与算法结构对齐得越好，学习执行算法所需的样本复杂度越低；文中以 GNN 对齐 Bellman-Ford 最短路算法为例说明。
Hugging Face BlogAI 评分3131 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上配合 HF Mirror LLM Inference Container 的部署做了覆盖 60 种配置的基准测试，评测 7B、13B、70B 三种规模，分别测试 1/5/10/20 并发请求和 GPTQ 4-bit 量化。
Hugging Face BlogAI 评分5050 Hugging Face 详解如何优化 LLM 生产环境部署
Hugging Face 发布博客，梳理在生产环境高效部署 LLM 的三类关键技术：8-bit 和 4-bit 低精度、Flash Attention，以及 Alibi、Rotary embeddings、Multi-Query Attention（MQA）和 Grouped-Query-Attention（GQA）等架构改进。
Hugging Face BlogAI 评分3030 Hugging Face 用 Diffusers 加速 AudioLDM 2，推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 中优化 AudioLDM 2 文本到音频生成，通过半精度、flash attention、编译以及调度器和负向提示词等优化，将推理时间缩短 10 倍以上，原需 30 秒以上的 10 秒音频样本现可 1 秒生成，音质下降极小。
Hugging Face BlogAI 评分2424 Transformers 对时间序列预测确实有效：Hugging Face 回应 DLinear 质疑并加入 Autoformer
Hugging Face 用实验反驳 AAAI 2023 论文对 Transformers 的质疑，指出 DLinear 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 均逊于 Autoformer（如 0.965 对 0.910）。
Hugging Face Blog精选AI 评分6464 RWKV 架构介绍：兼具 RNN 与 Transformer 优势的模型已集成进 transformers
Hugging Face 博客介绍 RWKV，一种融合 RNN 与 Transformer 优势的架构，已被集成进 transformers 库。
推荐理由：原文把 RWKV 在推理速度与显存上的取舍讲清楚，适合想了解 RNN 与 Transformer 混合架构的人参考。
Hugging Face BlogAI 评分4141 BLOOMZ 在 Habana Gaudi2 上的快速推理：176B 模型快于 A100 80GB
Habana Gaudi2 在 176B 参数 BLOOMZ 上推理延迟为 3.103 秒，比 Nvidia A100 80GB 的 4.402 秒快 1.42 倍，7B 版本则快 2.89 倍。
Hugging Face BlogAI 评分3939 Hugging Face 在 Transformers 中上线 Informer，支持多变量概率时间序列预测
Hugging Face 将 AAAl21 最佳论文提出的 Informer 模型集成进 🤗 Transformers，用于多变量概率时间序列预测，即预测未来时间序列目标值向量的分布。
Hugging Face BlogAI 评分3434 用 Intel Sapphire Rapids 加速 PyTorch Transformers：推理性能实测（第二部分）
Hugging Face 与 Intel 实测在 Sapphire Rapids 服务器上搭配 Optimum Intel 和 Intel Extension for PyTorch 运行 PyTorch Transformers 推理。
Hugging Face BlogAI 评分3434 对话式 AI 智能体如何变得有用？解析 RLHF、IFT、CoT 等关键技术
Hugging Face 梳理了让对话式 AI 智能体真正有用的关键技术，包括 RLHF、IFT、SFT、CoT 与红队测试，并对比了 LaMDA、BlenderBot 3、Sparrow、ChatGPT/InstructGPT 与 Anthropic Assistant 的架构、训练数据与评估标准。
Hugging Face BlogAI 评分2525 Hugging Face 教程：用同态加密在加密数据上做情感分析
Hugging Face 发布教程，演示如何借助 Concrete-ML 库在全同态加密（FHE）设置下对加密数据做情感分析。方案用基于 Stanford Sentiment Treebank 微调的 BERT 提取文本隐藏表示（768 维），再交给 XGBoost 分类，并给出基于客户端/服务器协议的云端部署及 HF Mirror Spaces demo。
Hugging Face BlogAI 评分4141 用 TensorFlow 和 XLA 加速文本生成，最高提速 100 倍
Hugging Face 的 transformers 库现在支持用 XLA 编译 TensorFlow 文本生成，速度最高提升 100 倍，甚至快于 PyTorch。该功能要求 transformers >= 4.21.0，可通过 do_sample、temperature、num_beams、max_new_tokens 等参数控制采样与贪心解码、束搜索等生成方式。
Hugging Face BlogAI 评分3434 Hugging Face 指南：如何用 Inference API 对 Twitter 推文做情感分析
Hugging Face 发布 Twitter 情感分析入门指南，用 Inference API 几行代码即可批量判断推文的正负面与中性倾向。文中同时给出无代码方案：用 Zapier 抓取推文、调用 Inference API 分析并输出到 Google Sheets。示例项目以 Tweepy 抓取 @NotionHQ 相关推文，再用 Matplotlib 和 WordCloud 可视化结果。
Hugging Face BlogAI 评分4747 Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持，加速 ONNX Runtime 推理
Hugging Face Optimum 1.2 新增推理与 Transformers pipelines 支持，可借助 ONNX Runtime 加速模型推理。