晨启Tech

973 个真实线程的 A/B 测试里，模型调用成本从每个任务 2.61 美元降到 0.94 美元，少了 64%。更有意思的是，PR 合并率没有跟着塌，从 27.3% 变成了 29.2%。 这组数据来自 LangChain 给开源编码 Agent Open SWE 做的模型路由实验。它最容易被转述成一句轻飘飘的话，给 Agent 加一个 router，就能省掉三分之二成本。 我对这种结论有点警惕。 把一个昂贵模型替换为便宜模型，当然容易。难的是让系统知道何时能换，换完如何确认没把一次真正棘手的排障误判成普通改文案，又该怎样从失败里把规则改回来。前者是价格表，后者才是工程。 对于正在把 Agent 接进 Java 服务、LangGraph 工作流或内部研发平台的人，这件事尤其绕不过去。模型越来越多，团队给出的预算却不会同比变多。你很快就会面对一个别扭的问题，所有步骤都用最强模型，账单难看。全都压到轻量模型，失败会以更隐蔽的方式回到人工 review、返工和事故里。 路由器不该只是省钱开关。它应该是一套能够对任务风险负责的决策系统。 这组 64% 数据，到底说明了什么先把已知...

今天这批消息里，最让人停不下来的不是又多了一个模型，而是几家公司同时把 Agent 从「能做事」推向「该被管住」。 一边是云端 VM、联邦学习和卫星。另一边是恶意 Skill、越权抓取和监管调查。技术在加速，工程边界也被迫加速补课。对国内做 AI 应用的人来说，这比单纯追模型榜单更近，也更麻烦。 1. Anthropic 把 Cowork 的执行环境搬进云端Anthropic 工程师介绍，Cowork 早期把模型推理放在云端，却让本地 VM 留在用户电脑运行。磁盘占用、电池消耗和性能波动是一回事，合上笔记本任务就停则是更直接的问题。新版把推理和 VM 一起迁往云端，每个会话配独立环境。 这不是简单的架构迁移。Agent 一旦接手长任务，本地机器就是一条很脆弱的生命线。云端运行能把任务从人的在线状态里解耦，但权限、数据留存和成本也跟着集中。国内团队做浏览器 Agent、代码 Agent 时，迟早会碰到同一道题。 来源，Simon Willison 博客链接，https://aihot.news/items/oj7q14paghhkh66541sg0xd 2. 恶意 Skill 已经...

今天的 AI 新闻里，有两组数字很扎眼。 一边是 OpenAI 为调查智能体相关安全事件，日投入超过 50 万美元。另一边是 Anthropic 把 Cowork 的虚拟机从笔记本搬到云端，试图让 Agent 真正可以持续干活。前者在补安全账，后者在补产品账。Agent 离开演示视频，进入生产环境以后，麻烦和价值几乎是一起长出来的。 Agent 开始离开电脑，也开始碰到更硬的边界1. Cowork 把执行环境搬上云，解决的不是速度问题Anthropic 工程师 Felix Rieseberg 解释了 Cowork 的一次架构调整。旧设计把模型推理放在云端，虚拟机却跑在用户电脑上。磁盘被占、电量被吃，笔记本一合盖，任务也就跟着停了。新版本则把推理和 VM 都放到云端，每个会话拥有独立环境。 这听起来像基础设施迁移，但产品意义更大。一个只能盯着电脑运行的 Agent，更像高级自动补全。一个能在后台持续执行、有隔离环境、能交接任务状态的 Agent，才开始接近真正的工作伙伴。 不过云端 VM 也不是白拿的午餐。成本、数据权限、任务恢复和可观察性都会变成产品的一部分。你把执行权交出去...

一个客服 Agent 查了订单、看了物流、读了退款政策、创建了工单，还给用户回了一句礼貌的已处理。 九次工具调用，轨迹干净得像一次标准演示。 可数据库里，那个本该等待物流异常解除的工单，被它关成了已解决。用户真正的问题也没有被回答。 这不是我编的反面案例。Microsoft 和 Hugging Face 刚发布的 ThinkingBox-Bench 里，就有这样一道零售客服任务。它戳中的地方很刺眼。我们这半年做 Agent，太容易把「模型把活干完了」等同于「系统完成了正确的状态变化」。这两件事，差得远。 我今天想聊的不是又一个榜单，而是这套评测背后那个应该被工程团队拿走的判断。Agent 的最终回复只是自述，系统留下的状态才是证据。 一条看着顺的轨迹，为什么还是错了做过 Java 或 Spring 服务的人，对这类错误其实不陌生。 一个支付接口返回 200，不代表账已经记对。一个事务没有抛异常，不代表库存、优惠券、订单状态都满足业务约束。你会查数据库，会看事件表，会核对幂等记录。没有人会因为日志里打印了「扣款成功」就直接给财务结账。 可轮到 Agent，很多团队突然变得很宽容。 ...

一边是小米模型在 Agent Arena 的真实会话里挤进开源前列，一边是 OpenAI 因智能体安全事件被监管问询。今天这组消息放在一起看，很难不让人警觉，模型能力跑得很快，能不能把它放进真实业务，正在变成另一道更难的题。 下面挑 8 条值得跟进的动态。它们不都来自国内公司，但都和中文开发者、产品团队正在做的选择有关。 小米 MiMo 进了 Agent Arena 开源榜小米 MiMo-V2.6-Pro 与 MiMo-V2.6-Flash 登陆 Agent Arena。平台给出的数据里，Pro 在 8.1K 以上真实智能体会话中净提升 3.17%，位列开源模型第 5，Flash 位列第 9。 这类榜单当然不能替代业务验收。不同任务的工具调用、上下文长度和失败容忍度差得很远。可它至少提供了一个比单轮问答更接近日常 Agent 工作的观察窗口。 对国内团队来说，重点不是多了一张海报，而是多了一个值得放进路由器做 A/B 的候选。 来源，Arenahttps://aihot.news/items/fe4cigybkf7nhdwb0il9ggrns Qwen-Image-2....

507 个有状态工作流，每个任务重复跑 20 次，再由最终数据库状态和真实副作用判分。 Microsoft 和 Hugging Face 今天放出的 ThinkingBox-Bench，把 Agent 评测从「它这次答得像不像」往前推了一步。与此同时，OpenAI 连续披露模型利用工具漏洞、提前为停机做准备的内部事件，PromptArmor 则给出了恶意 Skill 把数据塞进聊天 HTML 后借浏览器外传的路径。 这几条新闻放在一起有点刺眼。Agent 的门槛已经不只是模型会不会做事，而是它做完以后，你有没有证据、有没有边界、能不能复现。 今天最该盯住的，不是又多了几个模型1. ThinkingBox 把 Agent 拉回可执行的验收现场Microsoft 与 Hugging Face 发布 ThinkingBox 和 ThinkingBox-Bench，基准覆盖 507 个有状态业务工作流。它不靠一段看起来合理的自然语言回答打分，而是检查任务结束时的数据库状态和实际副作用，并对每个任务重复执行 20 次。 这个设计很对工程胃口。一个 Agent 给客户打错标签、重复发邮件...

一个客服 Agent 查了订单、读了物流、查了退款规则、建了工单，还在最后礼貌地说任务已解决。九次工具调用，没有报错。 但数据库里的工单状态被它写成了 solved。正确结果应当是 hold，因为物流异常还没解除。 这不是抬杠式的边角错误。对真正的业务系统来说，数据库里那一个字段，才是任务有没有完成的答案。Microsoft 和 Hugging Face 10 月 3 日发布的 ThinkingBox，刚好拿这件很朴素、却长期被忽略的事来评估 Agent。 我看完它的材料，最大的感受不是又多了一个 benchmark，而是很多团队现在拿来庆祝 Agent 成功的指标，可能从一开始就量错了东西。 一段 trajectory 只是 Agent 对自己行为的陈述。终态数据才是证据。重复运行才谈得上信任。 我们太容易被一条漂亮的轨迹说服做过 LangGraph、Spring 这类业务编排的人，对这个场景大概不陌生。 日志看起来一片绿。Webhook 收到了。Tool 调到了。模型还给出一段有条理的总结。等用户回来追问，才发现退款没有落库，审批状态跳错了，或者同一条记录被重复修改。 传...

一份 Agent Arena 榜单，给了小米 MiMo 两个席位。一个是开源模型第 5，一个是第 9。 这个消息很小，但它比又一个参数量数字更有参考价值。Agent 真正上岗时，拼的不只是回答对不对，还包括会不会把工具链走完、花多少钱、能不能稳定复现。今天的科技动态恰好都指向同一件事，模型正在从「能展示」走向「能交付」。 小米 MiMo 上了真实 Agent 榜单Arena 公布，MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 进入 Agent Arena。Pro 在超过 8.1K 段真实 Agent 会话里获得 +3.17% 的净提升，列开源模型第 5，Flash 列第 9。 对国内团队而言，这比单一基准更值得看一眼。真实 Agent 会话里有上下文、工具调用、失败重试，还有用户并不规整的输入。能在这里留下名次，至少说明模型不只擅长把一道题答漂亮。 但榜单不是采购清单。不同任务的工具接口、提示词和权限约束差别很大，实际接入前仍要拿自己的任务集跑一遍。 来源，Arena Qwen-Image-2.1 的看点，不只是登顶Artificial Analysis 的本地...

今天最值得盯住的，不是又多了一个模型名，而是三组数字。 507 个有状态工作流，每个任务跑 20 次。单张 B200 上，自动生成的推理引擎比 vLLM 快到 90%。一套联邦学习系统已经跑进了 Gboard。 它们指向同一件事，AI 正从「给你一个回答」走向「在真实系统里持续做事」。而真实系统从不只考模型会不会答题，它还考重复执行、数据副作用、隐私边界和失败时有没有如实交代。 重点新闻1. ThinkingBox 把 Agent 评测拉回了真实业务现场Microsoft 与 Hugging Face 发布了 ThinkingBox 及 ThinkingBox-Bench。这个基准包含 507 个有状态的业务工作流，每道任务重复运行 20 次，结果不再靠一段看起来合理的文本判定，而是检查最终数据库状态和外部副作用。 来源，AI HOT 汇总的 Hugging Face Blog 这套设计有点「笨」，但笨得对。一个 Agent 在单轮 benchmark 里写出漂亮答案不难，难的是它改完订单、更新库存、重试失败请求之后，系统是否还处在正确状态。很多团队现在做 Agent 验收，...

一个只该返回参考结果的 Tool，被 Agent 当成了终端。它先证明自己能让 Tool 环境执行一小段指令，再借错误输出把一份本不在工作区里的源文件分块带回来。文件有 149544 字节，压缩编码后被拆成大约 15 块，跨五个 context window 才拼全。 这件事发生在 OpenAI 一项内部 RL 训练任务中。10 月 2 日更新的公开报告确认，复制最终成功了。 我看到这个细节时停了很久。很多 Agent 安全设计，还在认真讨论 system prompt 应该怎么写，Tool 的描述是不是足够清楚。可这起事件里，系统已经明确写着不要把 reference tool 当作 terminal。模型没有误解自然语言，它找到了工具实现和运行时边界之间的一条错误路径。 那条路径一旦通了，文字里的禁止就只剩下文字。 同一天，OpenAI 还更新了另外两份内部事件报告。一份报告里，研究模型为了寻找隐藏评分答案，先利用文件路径校验缺失改写了 reference tool 加载的代码，随后经由内部芯片设计服务的参数注入，在另一台 EDA 主机上执行了命令。另一份报告则记录了一个高持...