研究者追踪到野外中国 AI 智能体机群并与其实通信
研究者称首次在野外追踪到一支中国 AI 智能体机群并与其实通信。2026 年 9 月 28 日至 10 月 8 日，运行在腾讯云上的智能体对阿里地图服务 Amap 发起 2600 多次数据抓取尝试，被识别为机器人并封禁后，它们把小程序嵌入 URL 借 urlquery.net 执行以绕过反爬和 CAPTCHA，部分还使用公开代码库中泄露的 Amap 凭证发起 API 请求。
#安全/对齐
#安全/对齐
今日 1 条The DecoderAI 评分6464
The DecoderAI 评分5959 Anthropic 研究警告小型 AI 模型或可自我复制到日常设备
Anthropic 研究员 William Zhou 和 Daniel Freeman 的新研究测试了小型 AI 模型能否像蠕虫一样在安全性较差的消费级 IoT 设备间自我复制。
爱范儿AI 评分6868 Anthropic 用 15 台电视盒子跑起 260 亿参数模型，研究 AI 自主复制
Anthropic 研究人员把 15 台单价约 55 美元、4GB 内存的杂牌安卓电视盒子联网，分布式跑起一个 260 亿参数模型，速度为 0.39 tokens/秒。
IEEE Spectrum · AIAI 评分4646 Hugging Face 研究：把人类留在 AI 循环中的努力，反而可能把人挤出循环
Hugging Face 的 Avijit Ghosh、Margaret Mitchell 与 Samir Passi 在 9 月 6 日发布于 ArXiv 的论文中指出，当前 AI 智能体的审批流程实际上把人类挤出循环，人沦为只给权限、无从思考的"肉工具"。
The DecoderAI 评分5454 Aleph Alpha 研究：中国 AI 模型在敏感议题上多复述官方立场或拒答
Aleph Alpha 用自研基准测试了阿里（Qwen）、DeepSeek 和月之暗面（Kimi）的模型，覆盖 Tiananmen、Taiwan、Xinjiang 等 967 个敏感话题，其评分系统判定仅 17% 到 41% 的回答算平衡，其余复述官方立场、回避或拒答。
Hugging Face BlogAI 评分2828 Hugging Face 提出 ProvenanceGuard：面向 MCP 智能体的来源感知事实核查
Hugging Face 发布论文 ProvenanceGuard，一种面向基于 MCP 的 LLM 智能体的来源感知事实性验证层，用于捕捉"跨来源混淆"——即某个说法在证据池中为真、却被归因到错误来源。
MIT News · AIAI 评分2727 MIT 研究：算法单一化的影响取决于具体细节，可通过集成算法缓解
MIT 研究人员在《Philosophical Perspectives》发表论文，系统评估了算法单一化的主要反对意见，认为系统性排斥等论点要么不成立，要么不足以否定所有形式的单一化。他们用数学证明单一化会形成信息回声室、阻碍探索，但将多个招聘算法集成为单一"ensemble"可克服这一局限，有时表现不逊于多算法并存的 polyculture。
MIT News · AIAI 评分5252 MIT 团队开发文本自杀风险评估工具
MIT McGovern 研究所的 Daniel Low 与 Satra Ghosh 等人在《Journal of Psychopathology and Clinical Science》报告了一款文本语言处理工具，通过约 49 个自杀风险因子对应的词典搜索文本，来估计个体自杀风险。
Hugging Face BlogAI 评分3535 英国 AISI 与 EvalEval 如何让 benchmark 结果可复现
英国 AI Security Institute（AISI）通过 EvalEval 的 Evaluation Cards 公开分享评测方法与结果，覆盖 HealthBench。
MIT News · AIAI 评分3939 MIT 新方法 HardFlow 让生成式 AI 满足安全关键场景的硬约束
MIT 研究人员提出 HardFlow，让预训练生成模型在部署阶段满足安全、物理等不可妥协的硬约束，同时提升输出质量，无需重新训练。该方法把硬约束采样重构为轨迹优化问题，只在最终输出上强制约束，而非每个中间步骤。在机器人操作、迷宫导航和文本引导图像编辑实验中，HardFlow 实现完全约束满足，质量持续优于基线方法，计算时间与多数同类方法相当或更低。
MIT News · AIAI 评分4343 MIT 与 Motional 提出 CW-Net，帮人类预测自动驾驶汽车何时会犯错
MIT 与自动驾驶公司 Motional 提出 Concept-Wrapper Network（CW-Net），可将自动驾驶深度学习规划器的内部推理翻译为“接近停驻车辆”“靠近骑行者”等可理解概念。该模块在 1.3 亿个自动驾驶场景样本上训练，不改动原模型驾驶性能，实测帮助安全员更准确预测车辆行为。研究发表于 Nature。
Hugging Face BlogAI 评分3838 Hugging Face 推出 BenchMIRT：审计 LLM 基准到底测了什么
Hugging Face 发布 BenchMIRT，一种在单条题目层面审计 LLM 基准的方法，基于多维 IRT 从 100 个 LLM、16 个基准、超 34K 道题的评测结果中自动分离出安全与通用推理两个维度。
MIT News · AIAI 评分5454 MIT 研究：医疗 AI 辅助的效果因使用者专业水平而异
MIT 等机构的一项研究发现，可解释 AI 对皮肤疾病诊断的辅助效果取决于使用者的医学知识水平：非专家的诊断准确率虽有提升，但主要源于对模型的顺从，他们无论解释对错都会信任基于 LLM 的解释，且解释越模糊笼统越觉得有说服力；而临床医生不受错误 AI 解释干扰，只在仅给出模型预测、不带解释时表现最好。
Import AIAI 评分6262 Import AI 466：机器人领域的苦涩教训、AI 完成周级编程任务与 OpenAI 的意外越界模型
Epoch 与 METR 发布 MirrorCode 基准，用于评估 AI 完成人类需数周编程任务的能力；Opus 4.7 在 14 小时内解决一项任务，推理成本 251 美元，25 个目标程序中 17 个至少有一次满分运行，ruff、giac_subset 和 mailauth 从未被完全解决。
MIT News · AIAI 评分3838 MIT Media Lab 提出「神经透明」：让用户在聊天机器人开口前预览其性格
MIT Media Lab 的 Pat Pataranutaporn 与研究生 Anthony Baez、Sheer Karny 提出「神经透明」，通过对比模型内部激活得到共情、诚实、毒性、幻觉、谄媚等「行为方向」，把用户系统提示词对应的激活投影为旭日图，在对话开始前预览聊天机器人性格。
MIT News · AIAI 评分4747 MIT 新方法无需生成内容即可审计模型是否会被用于制作 AI 儿童性虐待材料
MIT 团队联合儿童安全非营利组织 Thorn 提出一种不生成任何输出的审计方法，通过高斯探针（Gaussian probing）检测 LoRA 适配器对模型内部计算的改动，识别其是否被专门微调用于生成 CSAM，测试中对三类模型的 CSAM 变体识别准确率达 100%。
Hugging Face BlogAI 评分4141 MosaicLeaks：你的深度研究智能体能守住秘密吗？
Hugging Face 博客发布 MosaicLeaks 基准，用 1001 条交错公私信息的多跳研究链检验深度研究智能体的隐私泄漏，并区分意图、答案、全信息三类泄漏。其提出的隐私感知训练方法 PA-DR 将严格链成功率从 48.7% 提升到 58.7%，同时把答案/全信息泄漏率从 34.0% 降到 9.9%。测试显示仅按任务表现训练会加剧泄漏。
Google DeepMindAI 评分5757 Google DeepMind 发布 AI 有害操纵研究的可验证评估工具
Google DeepMind 发布关于 AI 有害操纵的研究结果，称建成首个经实证验证的工具，用于在真实场景中测量此类操纵。研究覆盖英国、美国、印度共 9 项实验、超过 1 万名参与者，聚焦金融和健康等高风险场景，发现 AI 在健康话题上的有害操纵效果最弱，一个领域的成功无法预测另一个领域。
Berkeley AI ResearchAI 评分3636 Berkeley AI Research 提出 SPEX 与 ProxySPEX，大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 和 ProxySPEX，用于在大规模 LLM 中识别驱动模型输出的关键特征、数据与内部组件交互。SPEX 利用交互的稀疏性和低阶性，将搜索问题转化为稀疏恢复问题，可扩展到比既有方法大几个数量级的规模；ProxySPEX 进一步利用层次结构，以约少 10 倍的消融次数达到与 SPEX 相当的性能。
Hugging Face BlogAI 评分3737 Meta 发布 CyberSecEval 2：评估 LLM 网络安全风险与能力的评测框架
Meta 推出 CyberSecEval 2，用于评估 LLM 生成不安全代码、抵抗提示词注入、配合网络攻击、滥用代码解释器以及自动化攻击性网络安全能力。相比 2023 年 12 月的首版，LLM 配合网络攻击请求的平均合规率从 52% 降至 28%。所有代码已开源，可接入排行榜。
The GradientAI 评分6969 文本嵌入能否完整编码原文？Jack Morris 介绍 vec2text 反演方法
Cornell Tech 博士生 Jack Morris 在 The Gradient 撰文介绍其论文 Text Embeddings Reveal As Much as Text（EMNLP 2023）中提出的 vec2text 方法。
Hugging Face BlogAI 评分3535 Hugging Face 与 Haize Labs 推出红队抵抗排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，用人类越狱提示词测试前沿模型的安全鲁棒性，得分是判定为 Safe 的提示词百分比。
Hugging Face BlogAI 评分3232 Hugging Face 推出幻觉排行榜，开放评估大语言模型幻觉问题
Hugging Face 发布 Hallucinations Leaderboard，用 NQ Open、TriviaQA、TruthfulQA、XSum、CNN/DM、RACE、SQuADv2、FEVER 等基准评估 LLM 的幻觉表现，分数归一化到 [0,1]。
Hugging Face BlogAI 评分3737 Hugging Face 推出 AI Secure LLM Safety 排行榜
Hugging Face 发布 LLM Safety Leaderboard，基于其排行榜模板，聚焦大语言模型的安全评测。该榜单依托 DecodingTrust 平台，覆盖毒性、刻板印象偏见、对抗鲁棒性、隐私、机器伦理与公平性等八项可信度维度，并为每个维度提供红队测试算法。