Block 如何用 OpenAI 技术构建 AI 驱动安全体系
Block 正在用 OpenAI 技术构建 AI 驱动的安全体系，其安全团队借助该技术更快调查威胁，并能在数分钟内提出补丁方案。
#安全/对齐
#安全/对齐
今日 12 条OpenAI NewsAI 评分2222 The Verge · AIAI 评分7171 美国八州起诉 OpenAI，称 ChatGPT 对儿童不安全
美国 Iowa、Kansas、Nebraska、West Virginia、Arkansas、Arizona、Idaho 和 Montana 八州分别起诉 OpenAI，指控其将利润置于安全之上，未就 ChatGPT 的危险向用户作出警告，违反当地消费者保护法。
Latent SpaceAI 评分3838 OpenAI 与 Anthropic 如何为金融智能体兼顾自主性与安全
OpenAI 的 Joseph Kim 在 AIE New York 提出"可用性阈值"，称模型能力提升将让金融分析师把投资想法生成与交易交给智能体；Anthropic 则通过身份与权限层、沙箱和审批层为金融智能体构建信任层，只让智能体提出订单修改建议而非直接执行。
The DecoderAI 评分6464 研究者追踪到野外中国 AI 智能体机群并与其实通信
研究者称首次在野外追踪到一支中国 AI 智能体机群并与其实通信。2026 年 9 月 28 日至 10 月 8 日，运行在腾讯云上的智能体对阿里地图服务 Amap 发起 2600 多次数据抓取尝试，被识别为机器人并封禁后，它们把小程序嵌入 URL 借 urlquery.net 执行以绕过反爬和 CAPTCHA，部分还使用公开代码库中泄露的 Amap 凭证发起 API 请求。
OpenAI NewsAI 评分3535 SentinelOne 借助 OpenAI Daybreak 将恶意软件分析从数周缩短至数小时
SentinelOne 借助 OpenAI Daybreak 把恶意软件分析时间从数周压缩到数小时，从而腾出精力调查更多威胁。原文未披露具体模型版本、参数规模或测试分数。
雷峰网AI 评分2121 茶百道涉IPO欺诈被暂停交易；字节Seed单独设立大模型安全与对齐部门；华为披露下一代麒麟芯片进展丨雷峰早报
香港证监会指茶百道首次公开招股可能被人为操纵，自10月13日上午9时起暂停其交易，并向六家经纪行发出限制通知书，禁止处置客户账户内最高达43.79亿港元的资产。
TechCrunch · AIAI 评分4848 Apate 派 AI 智能体卧底被诈骗，反向搜集欺诈情报
澳大利亚初创公司 Apate.ai 派出数千个 AI 智能体伪装成潜在受害者，接听诈骗电话、回复可疑信息、点击钓鱼链接并潜入社交群组，目前已与诈骗者进行 250 万次对话、浪费其 17 年时间。
The DecoderAI 评分5555 OpenAI 据称年内将发布一到两款新模型，旗舰仍需对齐工作
据 The Information 援引知情人士，OpenAI 员工称公司年底前可能发布一到两款新模型，但不确定正在开发的主要升级版旗舰是否在列。
Ars Technica · AIAI 评分6969 FBI 逮捕涉嫌在 OpenAI 机密会议室藏匿录音设备的工程师
FBI 逮捕了 35 岁的 OpenAI 工程师 Abdulrahman Alfozan，其涉嫌在一间限制进入的高管机密会议室内藏匿录音设备。该设备被卫生纸包裹后插在会议室电视背面，可能于 9 月 28 日被放置，OpenAI 于 9 月 30 日发现且内容已加密；10 月 5 日 OpenAI 在会议室安装摄像头，监控显示 Alfozan 当天试图取回该设备。
The Verge · AIAI 评分6262 Anthropic 警告自复制 AI 蠕虫，实验把 Gemma 4 拆到 15 台电视盒子上
Anthropic 本周发布博客警告，小模型可能在数月内具备自复制能力，并把 260 亿参数的 Google Gemma 4 拆分到 15 台 Android 智能电视盒子上运行以验证可行性。
Google DeepMind精选AI 评分7676 Google DeepMind 发布 Gemini 4 Argon，并公开安全与防护报告
Google DeepMind 开始广泛推送 Gemini 4 Argon，同时扩大 Fairwind Program 的可信网络防御者范围。该模型在模拟网络攻击测试中解出全部 12 个端到端场景，上一代仅解出 5 个；在 Gray Swan 的间接提示注入（IPI）基准上，15 次自适应尝试的攻击成功率降至 0.7%。
推荐理由：官方公开了 Argon 在高危能力上的测试数字与三层实时防护机制，可据此了解前沿模型安全部署的具体做法。
Google DeepMindAI 评分4747 Google DeepMind 与新加坡政府合作打造反诈骗微调 AI 模型
Google DeepMind 与新加坡政府科技局（GovTech Singapore）合作，基于轻量级 Gemma 模型在本地诈骗对话数据上微调出一个端侧反诈骗检测模型。该模型完全在设备本地运行，新加坡政府和 Google 均无法访问用户对话，并通过"轻量分类器初筛 + Gemma 上下文分析"两阶段流程触发实时警告。模型在新加坡国际网络周（SICW 2026）上展示，将分阶段在应用中推出。
The DecoderAI 评分5252 英伟达黄仁勋承诺向欧洲投资 20 亿美元，并向英国安全实验室捐赠 2.5 亿美元算力
英伟达 CEO 黄仁勋在欧洲之行中宣布，将在下周于欧洲投入 20 亿美元新投资，并披露对法国初创公司 Doctolib、Genesis AI、Pigment 和 Entalpic 的新持股，同时再次主张以开放权重模型缩小欧洲的 AI 差距。
AWS Machine Learning BlogAI 评分2424 Tamnoon 如何用 Amazon Bedrock 构建 AI 云安全修复平台 Tami
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami，可自动调查 CNAPP 与云原生来源的安全发现、评估修复安全性并编排带护栏与治理的修复流程，90 天内将关键云暴露减少超 90%，且零生产事故。
The DecoderAI 评分5757 Artemis Security 发布自研安全模型 Orion-1，并推出 DGR 基准
美国初创公司 Artemis Security 发布 Orion-1，一款可自主调查和响应企业网络攻击的模型，并在公司自建基准上超过 Claude Opus 5.5 和 GPT-6 Sol。
Ars Technica · AIAI 评分4848 Anthropic 警告小型 AI 模型或借 IoT 设备自我复制
Anthropic 警告称，小型 AI 模型的能力进展可能催生能感染智能冰箱、扫地机器人等 IoT 设备的自我复制恶意软件，其传播无需人类交互，且缺乏中心节点、难以关停。该公司称明年小型 AI 模型或能在各类 IoT 设备上自主自我复制，不过其近期实验显示，做出这样的 AI 恶意软件复制器仍面临显著挑战。
The DecoderAI 评分6666 被控为间谍的 OpenAI 员工用聊天机器人提示词自建监听设备
美国司法部称，在 OpenAI 任职的沙特籍工程师 Abdulrahman Alfozan 于 10 月 9 日被捕，涉嫌将裹着卫生纸的录音设备藏入公司高管会议室电视的 USB 口，其包中另发现第二个录音设备。
Ars Technica · AIAI 评分3939 研究称 OpenAI、Google 新 AI 模型易被诱导生成裸露图像
研究人员称，OpenAI 和 Google 新推出的 AI 模型可被一种攻击方法轻易绕过防护，生成裸露图像，暴露出两家公司在该类内容上的安全防护漏洞。
钛媒体AI 评分2424 个人与企业研发 Agent 功能差在哪？八个维度拆解约束条件之别
个人研发 Agent 与企业研发 Agent 的差异不在功能多少，而在约束条件不同：前者尽可能解放个人能力，后者把模型的不确定性收束进可控、可信、可审计的框架。
钛媒体AI 评分5252 周鸿祎谈AI：尽头不是能源，是安全
360集团创始人周鸿祎在钛媒体播客《DeepPractice深度实践》中与刘湘明对谈，判断 AI 失控是确定性事件，依据包括大模型升格为智能体、AI 自动挖掘漏洞、黑客经验被蒸馏进智能体以及 RSI 自我进化四点。
The Verge · AIAI 评分6464 OpenAI 一名工程师因涉嫌在会议室安装录音设备被捕
OpenAI 一名工程师因涉嫌在公司办公室安装录音设备被捕。该设备被发现插在一间高管会议室电视的 USB 接口上，设备表面覆盖卫生纸、内容经过加密，安装时间在 9 月 28 日前后。
The DecoderAI 评分6464 406 位科学家联名要求立即将 AI 模型与互联网隔离
406 位科学家签署公开信，要求加强 AI 安全研究并更严格地隔离 AI 模型与外部网络，签署者包括 Geoffrey Hinton、Yoshua Bengio、Stuart Russell、Yejin Choi 和 Bernhard Schölkopf。
TechCrunch · AIAI 评分3535 Pluto Security 融资 4200 万美元，应对 AI 给企业安全团队带来的新难题
Pluto Security 完成 4200 万美元融资，其中 TLV Partners 领投 850 万美元种子轮，Jump Capital 领投 3400 万美元 A 轮。
TechCrunch · AIAI 评分2626 Laplace Intelligence 为机器人和自动驾驶汽车做自动化红队测试
Laplace Intelligence 正在为机器人和物理 AI 构建自动化红队测试，用 AI 智能体主动探测系统弱点，让机器人和自动驾驶汽车在部署前于仿真中暴露故障。
GitHub Blog · AI & MLAI 评分3131 GitHub 用模型做密钥检测：更少误报中找出更多密钥
GitHub 为密钥扫描训练了一个上下文感知的密钥分类器，采用正则召回候选、ModernBERT 细调模型判别真伪的两阶段流水线，取代此前的 LLM 方案。官方称用户对告警的接受度提升 11.5%，推送后扫描执行中位时间缩短 86%，服务成本较远程 LLM 调用降低逾 98%，并因此将通用密钥检测扩展到推送保护阶段。
The DecoderAI 评分3838 机器学习先驱 Michael I. Jordan 批 AI 末日论是"宏大的道德表演"
加州大学伯克利分校荣休教授 Michael I. Jordan 在接受 Libération 采访时，将 AI 存在性威胁警告斥为科幻，并把 AI 公司呼吁监管称为"作秀"。
The Verge · AIAI 评分4040 Mia Goth 代表称 Instagram 放任 AI 生成假图传播"令人无法理解"
Mia Goth 的代表 Christine Tripicchio 向 The Verge 表示，Instagram 上一个带蓝标认证的粉丝账号 miagoth_ 发布了 AI 生成的 Goth 假图，团队已多次投诉要求删除。该账号拥有超百万粉丝，假图被 OK!、People 等媒体当真图报道后广泛扩散，截至周二上午该账号已从 Instagram 消失。
IEEE Spectrum · AIAI 评分2626 Google DeepMind 新驻场哲学家谈 AI 伦理
哲学家 Henry Shevlin 去年 5 月起将 80% 时间投入 Google DeepMind，职位为“Philosopher”，同时保留剑桥大学 Leverhulme 未来智能研究中心的工作。
The DecoderAI 评分5959 Anthropic 研究警告小型 AI 模型或可自我复制到日常设备
Anthropic 研究员 William Zhou 和 Daniel Freeman 的新研究测试了小型 AI 模型能否像蠕虫一样在安全性较差的消费级 IoT 设备间自我复制。
The DecoderAI 评分6767 Anthropic 称新防御将 Claude 推理 token 窃取量削减 90% 至 99%
Anthropic 表示其新上线的防御措施将 Claude 被提取的推理 token 数量削减了 90% 至 99%，这些 token 是模型内部的链式推理步骤。
MIT Technology Review · AIAI 评分2424 开放模型确有实际益处，但它们是否利大于弊？
Anthropic 发布报告称中国公司 Z.ai 于 8 月开源的 GLM-5.3 构成重大网络攻击风险，理由是任何人可自由下载和修改该模型。这场争论的核心是开放权重模型的安全风险与权力分散价值：开源模型可下载、可重训、可观察内部结构与思维链，成本通常低于闭源模型，但截至发稿 Artificial Analysis LLM 排行榜前八名仍全部为闭源模型。
钛媒体AI 评分6060 审计者与卖方：Anthropic 免费给开源世界扫漏洞，账单开给谁
Anthropic 于 2026 年 10 月 8 日推出 Anthropic Cyber Mission，包含面向电网水务等 OT 系统的关键基础设施防御计划 CIDP（11 家创始伙伴），以及免费自愿接入的 OSS Scanner，后者用包括 Claude Mythos 在内的模型为开源项目做定期安全扫描。
爱范儿AI 评分6868 Anthropic 用 15 台电视盒子跑起 260 亿参数模型，研究 AI 自主复制
Anthropic 研究人员把 15 台单价约 55 美元、4GB 内存的杂牌安卓电视盒子联网，分布式跑起一个 260 亿参数模型，速度为 0.39 tokens/秒。
钛媒体AI 评分5151 《柳叶刀》报告警告AI恶意使用可能致人类灭绝，学界业界分成两派
《柳叶刀》10月11日发布《21世纪全球健康威胁》委员会报告，在17种威胁中将核冲突与人工智能的恶意使用列为可能在2100年前导致人类灭绝的两类风险，报告由35位专家撰写、覆盖全球204个国家和地区。
雷峰网AI 评分6060 字节跳动 Seed 单独设立大模型安全与对齐部门
字节跳动 Seed 近日发出内部邮件，宣布成立 Seed Model-Alignment&Preparedness 部门，由严林负责并汇报给 Seed 负责人吴永辉，原 Responsible AI 团队及部分 Chat 团队成员转入新部门。
MIT News · AIAI 评分2020 MIT 教授 Deb Roy 呼吁为 AI 生成的公共评论建立问责机制
MIT 媒体艺术与科学教授 Deb Roy 在《原子科学家公报》发表《谁为这些话负责？》一文，呼吁在 AI 参与公民对话时保留问责与"可追责性"。他援引 2017 年 FCC 收到超 2200 万条网络中立性公众评论、其中近 1800 万条被纽约州总检察长认定为造假的案例，指出大语言模型抹去了模板化文本这类"指纹"，使审查者无法分辨真实意见。
Ars Technica · AIAI 评分4848 Anthropic 的 Claude AI 向费城警方提交虚假谋杀线索
Anthropic 的 Claude AI 向费城警方提交了一条虚假的谋杀案线索，声称"我可能掌握此案的相关信息"。该事件暴露了 AI 系统在执法场景中被滥用或产生幻觉的风险。
IEEE Spectrum · AIAI 评分1313 Anthropic 工程师 Gurmeet Saran 如何让 Claude 的 AI 智能体值得信赖
Anthropic 技术团队成员 Gurmeet Saran 正在构建一套基础设施，用于理解 Claude 等 AI 智能体的行为机制并确保其底层架构输出可靠，他称 LLM 的可观测性工具目前仍不成熟。
TechCrunch · AIAI 评分3939 微软总裁 Brad Smith 称英国最适合主导全球 AI 监管
微软总裁 Brad Smith 呼吁对 AI 进行紧急监管，并称英国而非美国或欧盟最适合主导全球安全规则，理由是华盛顿不像看待布鲁塞尔那样看待伦敦。他提出应为 AI 系统被失控智能体攻破设立法律通报义务，并支持 AI 产品发布前由外部评估者审核、以及在人类失去控制时启用 kill-switch。
The DecoderAI 评分5656 白宫撤销限制，恢复英国 AI 安全研究所对前沿模型的访问权
白宫撤销了此前阻止英国 AI 安全研究所（AISI）访问新 AI 模型的决定，该机构将重新获得 Anthropic、Google DeepMind 和 OpenAI 模型的早期访问权。