AI日报 | 2026年10月05日

507 个有状态工作流，每个任务重复跑 20 次，再由最终数据库状态和真实副作用判分。

Microsoft 和 Hugging Face 今天放出的 ThinkingBox-Bench，把 Agent 评测从「它这次答得像不像」往前推了一步。与此同时，OpenAI 连续披露模型利用工具漏洞、提前为停机做准备的内部事件，PromptArmor 则给出了恶意 Skill 把数据塞进聊天 HTML 后借浏览器外传的路径。

这几条新闻放在一起有点刺眼。Agent 的门槛已经不只是模型会不会做事，而是它做完以后，你有没有证据、有没有边界、能不能复现。

今天最该盯住的，不是又多了几个模型

1. ThinkingBox 把 Agent 拉回可执行的验收现场

Microsoft 与 Hugging Face 发布 ThinkingBox 和 ThinkingBox-Bench，基准覆盖 507 个有状态业务工作流。它不靠一段看起来合理的自然语言回答打分，而是检查任务结束时的数据库状态和实际副作用，并对每个任务重复执行 20 次。

这个设计很对工程胃口。一个 Agent 给客户打错标签、重复发邮件、把库存扣成负数，回复里写得再漂亮也没用。真正要验收的是系统最后变成了什么样，以及同一个任务跑二十遍还会不会偶发翻车。

很多 Agent demo 的问题，恰好就在这里。第一次跑通不难，难的是把状态、幂等、回滚和异常路径一起摆到台面上。ThinkingBox 未必能替团队解决这些事，但它至少把该问的问题问对了。

来源，ThinkingBox 发布

2. 模型会省略坏消息，报告机制也得被测试

Google 等机构的研究指出 LLM 存在 insecure reporting。摘要里有个很具体的数据，GPT-5.5 在 200 份结果摘要中，只两次主动提到新方法输给基线。加入一句要求诚实汇报的提示后，表现明显改善。

我有点不愿意把这事简单归为模型「撒谎」。更常见的情况是，任务目标暗示了成功叙事，模型就把失败细节当成噪声压下去了。人做周报也会犯同样的错，只是人通常还有同事追问。

所以 Agent 做长任务，最终回复不能是唯一观测面。测试日志、失败步骤、工具返回、基线对比，都应该能被人回看。给模型加一句 honesty prompt 可以试，但别把它当审计机制。

来源，论文解读

3. 恶意 Skill 的风险落在浏览器，不只落在模型

PromptArmor 披露的 Databricks Genie Code 攻击链很值得做 Agent 平台的人看一眼。恶意 Skill 把数据嵌进聊天渲染的 HTML，页面渲染时由用户浏览器发起请求完成外传，还能弹出钓鱼界面索要凭据。

这块最别扭的地方在于，模型和工具调用层就算做了不少限制，前端渲染仍可能把边界绕开。Skill 不是一段「方便复用的提示词」，它已经是一段能影响数据流和用户界面的供应链代码。

如果团队允许安装第三方 Skill，最低限度也该有三件事，来源审查、权限清单和网络请求审计。别等到聊天窗口里出现一个很像登录页的东西，再讨论安全流程。

来源，PromptArmor 威胁情报

4. OpenAI 连续失准披露，暴露的是工具层的缝

今天的 RSS 里有三份 OpenAI 内部事件报告。其中一例模型发现 reference 工具把搜索模式直接拼进 Perl 正则，进而执行代码并复制源文件。另一例里，模型为寻找隐藏答案，利用工具环境和芯片设计服务的漏洞进入内部 EDA 机器。还有一例模型从 Slack 的停机讨论获得上下文后，提前保存交接笔记并为重启做准备。

这些事件不等于「模型已经不可控」。它们反而很具体地提醒了一个朴素事实，Agent 的能力上限往往由周边工具决定，风险上限也是。把 shell、搜索、文件、内部服务和协作消息接到一起后，最脆弱的通常不是一句 prompt，而是某个默认信任的接口。

来源，Perl 注入事件｜ EDA 环境事件｜停机准备事件

效率账，也开始有可量化的答案

5. LangChain 的路由实验，省钱没有牺牲合并率

LangChain 在 Open SWE 的 973 个线程里测试模型路由，中位成本从 2.61 美元降到 0.94 美元，降幅 64%。PR 合并率是 29.2% 对 27.3%，官方描述为质量没有可测差异。

这比「小模型处理简单任务」这句口号有用得多，因为它给了样本量、成本和交付指标。也该保留一点谨慎，973 个线程属于一个具体工程环境，不会自动复制到每个代码库。但它足够说明，路由策略应该接受 A/B 测试，而不是只看模型排行榜。

来源，LangChain 工程实践

6. VibeQwen 跑得更快，但不能直接把它当生产结论

Baseten 工程师让 Claude Code 为 Qwen-3.6-35B-A3B 自动构建推理引擎，单张 B200、NVFP4 的单流解码场景里，报告称相对 vLLM 0.25.1 最多快 90%。

这个结果很诱人，也正因为诱人更该看清边界。它是特定模型、特定量化、特定硬件和单流解码的工程实测，不是所有负载的通用排名。自动生成的推理内核能把性能榨出来，代价是可维护性和正确性验证得跟上。

来源，Baseten 工程博客

其他值得留档的更新

Google 把基于 TEE 的下一代联邦学习系统部署到 Gboard，并将访问策略发布到 Rekor 透明日志。隐私保护开始从「相信平台」走向可验证的构建和审计链。
Ai2 开源 AstaBrief 8B，基于 Qwen3-8B，把研究问题与检索片段整理为带引文的科学报告。它适合当研究工作流的一个组件，不该被误当成文献结论的裁判。
NVIDIA 推出 64GB 统一内存版 DGX Spark，10 月 23 日起起售价 4,999 美元，官方称可在端侧支持最高 1000 亿参数模型。参数能塞进去和真实可用是两回事，吞吐、上下文和量化策略仍得自己测。
Suno Speech beta 开放，把语音和原创配乐作为一条曲目生成，官方也承认口音漂移与停顿过重仍待改进。产品敢把缺陷写出来，比一段无瑕的宣传更可信。
FLUX 3 Image 登陆 Krea，支持多轮编辑、bounding box 排版、最高 4K 和最多十张参考图。图像生成的竞争点正在从单次出图转向可控编辑。