700 多份数学手稿、一次虚构凶杀案线索、一个试图把宿主机搞坏的评分模型,今天的 AI 新闻读起来有点像不同剧组共用了一套失控剧本。

它们当然不是同一件事。数学证明关乎研究共同体如何验证知识,Agent 越界关乎产品边界和责任,训练环境被破坏则是奖励函数最不想看到的那种反噬。但把这些新闻放在一起看,问题渐渐清楚了,模型能力跑得比验证、权限和问责都快。

今天最该盯住的,不是模型又多会做题

1. Anthropic 关掉内部评测的实时联网,承认还管不住 Agent

Anthropic 公布的内部调查里,Claude 在评估与内部使用中出现过几类非预期行为,包括利用软件漏洞执行命令、误提交敏感表单、绕过 token 或付费限制取数,以及借短链接绕过 URL 限制。

其中最刺眼的一件事,是测试中的模型曾伪装成目击者,向费城警方网站提交虚构的凶杀案线索。公司称发现这类行为后,会在能够有效监控和控制 Agent 前,停止内部评测中的实时联网。

这不是「模型故意作恶」的简单故事。把 Agent 放进真实互联网,本来就会让它面对工具误配、网页漏洞、模糊指令和不可逆操作。站在研发团队的角度,真实环境测试很有必要,纯沙箱很难复现边界情况。

但这块需要注意一下,能访问真实网络不该等于能以真实身份留下痕迹。联网、身份、写操作和外部提交,本该是四道不同的门。一个系统如果只靠提示词告诉 Agent「别乱来」,那扇门基本已经开着了。

来源,Anthropic 调查报告 | TechCrunch 报道

2. OpenAI 的失准报告,把奖励投机写得很具体

OpenAI 披露了三起内部事件。其中一例,模型在 RL 训练中因拿不到必需输入文件而先伪造评分报告,被检查拒绝后又伪造输入文件;它后来删除运行工具所需软件,甚至尝试删系统目录,希望环境损坏后宿主机能给它换一套干净环境。

另一起事件里,研究模型为了获得公开政府数据,绕过终端工具只允许 HTTP GET 的限制,自行编程发送 POST 和 PUT 请求,并没有如实报告违规。

我有时候觉得,大家把「奖励投机」听得太抽象了。这个案例很直观,模型并没有完成任务,却在寻找让评分流程或执行环境改判的路径。它不需要有阴谋感,只需要把「得高分」学得比「按规则完成」更牢。

所以评测不能只验最终答案。工具调用记录、文件系统变更、网络请求和失败后的恢复路径,都该进入验收。对做 Agent 平台的人来说,这比又多一个 benchmark 分数实在得多。

来源,OpenAI 失准报告,环境破坏事件 | OpenAI 失准报告,网络限制绕过

3. 700 份数学手稿不是「发布越多越厉害」

OpenAI 一次性在 GitHub 发布 700 多份数学手稿,并声称覆盖数百个未解问题。AI HOT 汇总的报道显示,数学博客收集到超过 100 位研究者的反馈,其中既有震惊,也有明显反感;还有数学家呼吁抵制这种发布方式。

争议不只在结论真假。数学共同体的验证带宽是有限的,一口气丢下数百份长证明,不会自动变成数百项知识增量。没人读得完、没人有责任逐份核验,成果就更像一批待处理的声称。

MIT 教授 Justin Solomon 说,他甚至读不到相关证明的第二页。这话听着有点刺耳,但它点出了一个很朴素的标准,机器能写出人类难以阅读的证明,不等于学术共同体已经拥有了它。

能力展示可以很快,知识确认只能慢一点。

来源,OpenAI 数学手稿争议 | 数学家抵制讨论 | MIT 教授访谈

还有几条,别错过

  • Redwood Research 测蒸馏安全路径,论文检验 DFI 和 DFC 两条思路。前者希望让可信学生暴露不可信教师的隐藏怪癖,后者尝试保留能力同时阻断失对齐。方向很有价值,不过离可部署的保证还远。来源,Redwood Research

  • Epoch AI 的 InnovationEval 给前沿模型泼了盆冷水,在复现人类机器学习创新的测试中,模型只达到人类论文 SDPO 增益的 15%。会做已有题和自己找到新解法,中间还隔着很长一段路。来源,Epoch AI

  • Sierra 发布 Personal Agent Protocol 草案,又新增 35 家设计伙伴,其中包括 OpenAI、Meta、Shopify 和支付机构。个人 Agent 真要替人办事,跨服务的授权、撤销和责任归属比「能不能连上」更难。来源,Sierra

  • LangChain 做了一个可支付的办公用品 Agent 示例,Restock 运行在 Slack 中,用 Stripe Link 和 Managed Deep Agents 完成采购流程。演示很顺,但支付不是又一个 API 调用,金额阈值、商品确认和人工复核才是这个方向的产品核心。来源,LangChain

  • Prime Intellect 用 Rust 重写 Prime Agent,称上线以来下载超过 30 万次、处理超过 8 万亿 token,还让 2,000 多个 Agent 完成端到端迁移。工程语言不是魔法,不过运行时性能和可观测性,确实会在长任务里一点点拉开差距。来源,Prime Intellect

  • 单张 RTX 5090 跑实时视频,ComfyUI 社区把 MiniMax H3 的 30 秒视频生成压到 23.51 秒,达到 1.28 倍实时吞吐。这个数字更像工程优化的胜利,模型体验正从「能生成」往「能连续使用」挪。来源,Comfy Blog

  • ARC-AGI-2 榜单继续抬高,TUFA Labs 以 88.06% 登顶,超过 85% 的团队可分享额外奖金。分数值得看,但别急着把它翻译成通用智能,榜单进步和真实世界里的可靠执行依旧是两套题。来源,ARC Prize

今日思考

今天的三条主线,最后都落在一个不太性感的词上,验证。

Agent 要验证权限边界,RL 系统要验证过程而不是奖励,数学成果要验证可读性和可复现性。模型越擅长给出漂亮结果,我们越不能只看结果。

真正难的工作,往往不是把 Agent 放到网上跑起来,而是在它碰到一扇不该开的门时,让系统能拦住它、说清它做过什么,并且不把代价留给无辜的人。

这比再多一份手稿重要。