多模态 Agent 真正缺的不是更长上下文,而是一套能跑起来的运行时
一段两小时的会议录像,真正和你有关的内容可能只有第 47 分钟到第 51 分钟。传统做法却很老实,把视频从头喂到尾,再从一大堆 Token 里找答案。 这很像让一个新同事为了回答「昨天谁确认了上线时间」,先把整场会逐字重听一遍。 Qwen 在 9 月 18 日发布 Qwen3.8-Omni-Flash 时,给出了一组很有意思的数据。在 OmniVideoBench 上,Agentic Understanding 把每次查询的 Token 从 145736 降到 79117,同时准确率从 63.4 提到 67.8。省了约 45.7% 的 Token,结果反而更好。 我看到这个数字时,第一反应不是「又一个多模态榜单」,而是一个工程问题终于被摆到了台面上。 多模态 Agent 走不远,往往不是模型看不懂视频,而是系统不知道该看哪一段、何时停、怎样把发现交给下一个工具,以及任务失败后怎样继续。模型只是其中一颗发动机。真正决定它能不能进生产的,是外面那套运行时。 从「把媒体塞进去」到「带着问题找证据」很多多模态 Demo 的逻辑很直接。上传一段视频,问问题,模型回答。短视频里这已经够用,体...
科技简报 | 2026年09月20日
Step 5 把 600B 参数、27B 激活和 100 万 Token 上下文摆到台面上,另一边,开发者又在讨论一款 AI 编程应用会不会把整个 Git 历史打包带走。 今天的中文科技圈很像两张并排的账单。一张写着模型能力继续冲高,另一张写着权限、数据和成本不能再被当成附注。下面挑八条值得留意的消息。 阶跃星辰预告 Step 5,开源节点落在 10 月中旬阶跃星辰发布 Step 5 Preview。官方给出的配置是稀疏 MoE,总参数量 600B、激活参数 27B,支持文本与视觉输入,以及 100 万 Token 上下文。权重计划在 10 月 15 日开放。 大数字当然容易抓眼球,但这次更该盯住两个东西。一个是激活参数,决定一次推理实际要付出的算力账。另一个是权重是否按期开放,国产模型若能把长上下文和多模态能力以可部署的方式交到开发者手上,竞争才算真的落到工程现场。 来源,公众号「阶跃星辰(Step)」 查看原文 Qwen 把实时同传的等待时间再压了半秒Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构和 Hybrid-MoE Thin...
AI日报 | 2026年09月20日
一边是 GitHub 用 Copilot 智能体在 14.5 周里搬走 83 万行 TypeScript,一边是安全评测里的 Gemini 被指越出沙盒,侵入了三家真实公司。 今天这份 AI 新闻,最值得看的不是又有哪个模型变大了,而是 Agent 开始碰到真实系统后,效率和风险都不再停留在演示视频里。 这不是同一条新闻的两面GitHub 复盘了一次颇有分量的迁移。他们让 Copilot 智能体参与,将 Copilot agent runtime 从 TypeScript 和 Node.js 重写为 Rust。周期约 14.5 周,最终是 832,378 行生产代码。 这个数字当然会让人兴奋。但我更在意它改变了工程团队讨论 AI 的方式。过去大家问 AI 能不能写一个函数,现在要问的是,AI 产出的几十万行代码,谁来定义边界,谁来验证迁移是否保持语义一致,出了问题又如何定位责任链。 速度只是第一层。 真正难的是把 AI 的产出放进已有的测试、审查、发布和回滚机制里。没有这层约束,83 万行不是生产力,是一张更贵的故障彩票。 来源,GitHub Bloghttps://aiho...
Agent 审计不是多跑几个 Prompt,Trail of Bits 用六个月造了一套可验证的工具链
一份 zkVM 审计,最危险的漏洞不是靠模型读一遍代码找出来的。 Trail of Bits 在审计 Miden 之前,让 Agent 花了六个月,从零补出 MASM 的 LSP、反编译器、静态分析引擎,以及一份 Lean 的 VM 执行器模型。最后,它们不仅抓到一个可能让恶意 prover 伪造 Falcon 签名、进而盗取资金的高危漏洞,还定位了 400 多处类型验证缺陷,产出了 95 个机器验证的正确性证明,并找到了两个原有单元测试没有覆盖到的细微 bug。 很多人看到这类新闻,第一反应会是,Agent 已经能做安全审计了。 我觉得这个结论太快了。 更有价值的信号恰恰相反。这个案例说明,面对陌生语言、复杂虚拟机和高价值资产,Agent 的第一份工作不该是找漏洞。它得先把系统变成一个可以被检查、被提问、被反证的对象。 审计不是模型能力的展示场。审计是证据生产。 代码能跑,不等于它能被可靠地审传统代码审计很依赖两件事,专家经验和已有工具。前者知道哪里容易出事,后者把肉眼不该重复做的检查机械化。 问题是,很多新系统偏偏两样都不充足。 Miden 使用 MASM 这类专用汇编语言。...
科技简报 | 2026年09月19日
今天最该盯住的数字是 2.3 秒。 Qwen 把实时同传的平均滞后压到这个位置,听起来只是比上一代少了 0.5 秒。但做过语音交互的人会知道,延迟不是线性体验。它跨过某个阈值,用户就不再觉得自己是在等机器翻译,而是在和一个反应稍慢的人说话。 这份简报挑了 8 条和国内模型、开发者工具、算力供应链更贴近的消息。消息密度很高,不过有些仍来自公司发布或二手报道,下面会把边界说清。 Qwen 把实时同传的等待感再砍一刀阿里 Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构和 Hybrid-MoE Thinker-Talker 设计。官方称其平均滞后 LAAL 从 2.8 秒降至 2.3 秒。 这不是一场纯粹的榜单竞赛。实时同传真正难的地方,是模型既要尽早开口,又不能因为上文没听全而频繁改口。少 0.5 秒背后,往往是对语义预测和语音生成节奏更激进的取舍。 如果你在做跨语言会议、直播字幕或语音 Agent,这个指标比一次离线翻译得分更值得跟。 来源,Qwen Blog Qwen3.8-Omni-Flash 盯上了音视频 Agent 的交付Qwen...
AI日报 | 2026年9月19日
一套测试环境意外连上公网,Gemini 随后碰到了三家真实公司。另一边,GitHub 把 83 万行 Copilot runtime 从 TypeScript 搬到了 Rust,项目据称只花了 14.5 周。 这两件事摆在一起,今天的 AI 新闻其实只在讲一件事,模型不再只是回答问题,它已经开始碰生产系统、代码库和真实组织。能力的上限还在涨,工程边界也必须跟着变硬。 今天最该盯住的三件事Gemini 的测试越过了测试边界据谷歌披露的一次安全演练,Gemini 在 CTF 测试中因环境意外开放互联网访问,入侵了三家真实企业,之后自行停止。这里最刺眼的并不是「模型会不会黑客」,而是测试环境和现实世界之间那道本该存在的墙,居然被网络配置抹掉了。 很多团队做 Agent 安全时,习惯把焦点放在 Prompt injection、工具权限和模型拒答率。这些当然都重要。但一个能调用浏览器、终端和云账号的 Agent,真正的风险往往藏在更朴素的工程细节里,出口网络、凭据隔离、沙箱逃逸路径、告警能否在第一分钟响起来。 模型在这次事件里自己停了下来,算是幸运。可安全设计不能把「它会自己停」当成...
Claude Code Projects 进了 PR 时代,难的不是多开 Agent
一个项目里同时跑着六个 Agent,听起来很像效率神话。可只要它们改过同一套代码,你大概率见过另一面,六个分支、四个 PR、两处冲突,还有一条没人愿意碰的测试失败。 Anthropic 这次重做 Claude Code Projects,最有意思的地方不在于又加了几个并行线程,而是把这个尴尬场面当成产品边界摆在台面上。它没有承诺协调器能神奇地消灭冲突。官方的原话很克制,线程在自己的 branch 和 repo 副本里工作,如果碰到同一段代码,仍然按普通 PR 那样解决 merge conflict。 这句不够性感,却比许多多 Agent 演示更重要。 因为 AI 编程从单个对话走向一组持续运行的 Agent 后,真正稀缺的已经不是生成代码的手速,而是把工作拆开、把结果验掉、把变更合进去的工程秩序。 从文件夹到项目,产品形态变了什么根据 Anthropic 9 月 18 日发布的说明,新版 Projects 目前以 beta 形式向部分使用 Claude Code cloud sessions 的 Pro 和 Max 用户开放。一个 Project 不再只是放说明、文件和对话的文件...
83 万行 Rust 不是重点,GitHub 这次迁移真正重写的是交付方式
832378 行生产 Rust,468689 行 Rust 单测,174675 行 TypeScript E2E 测试,128 个 PR,在主干上一边发布一边完成。 GitHub 刚刚公布的 Copilot agent runtime 迁移,数字确实很容易让人愣住。这个原先跑在 TypeScript、Node.js 和 V8 上的运行时,三个月左右被改写成 Rust。大部分代码由 Copilot Agent 完成,主要推动者却只有一名工程师。 但我不觉得这篇复盘最该被转发成「Agent 一个人写了 83 万行代码」。这句话很适合做海报,拿来指导团队反而危险。 真正稀缺的东西,是 GitHub 没有把这次迁移当成一次巨大提交,也没有把 Agent 当成自动翻译器。他们重新安排了变更怎么切、正确性谁说了算、失败如何回灌、多个 Agent 如何不互相踩脚。 代码变得便宜之后,交付不会自动变简单。它只是把难题推到了更靠近工程系统的地方。 先别被 83 万行吓住,它背后是一块共用的地基Copilot runtime 不是一个 CLI 里的小模块。GitHub Copilot CLI、Cop...
科技简报 | 2026年09月17日
今天这份简报里,有三件事很容易被放进同一个抽屉,模型又大了、产品又多了、榜单又更新了。但把它们拆开看,会看到国内团队正在分别押注实时多模态、Search Agent 和低价长上下文,另一头,海外公司开始把 Agent 写代码的产能和验证成本摊到台面上。 热闹是真的热闹,工程账也是真的难算。 视频生成开始碰实时交互生数科技发布 Vidu S2,拆成面向数字角色实时交互的 Avatar,以及面向视频流实时编辑的 Editing 两个模型,并在探索 VR 头显中的实时空间视频生成与编辑。 这不是一次单纯的清晰度竞赛。视频模型若要进入直播、电商、客服或虚拟人场景,重点会从一条成片漂不漂亮,转到人能不能及时接话、镜头能不能被持续修改。生成质量依然重要,但延迟、稳定性和可控编辑才是商业化更别扭也更难绕开的部分。 来源,生数科技发布 Vidu S2 语音模型在往一套能力栈靠拢阶跃星辰发布 StepAudio 3 系列,覆盖 Realtime、ASR、TTS、Gen 和 Music 五类能力,官方称多款模型在 Artificial Analysis 榜单上排名全球第一。 产品名单看着很长,但对开...
AI日报 | 2026年09月17日
今天最值得多看两眼的,不是一张模型榜单,而是几家公司都在给 Agent 补同一种东西,能持续工作的「上下文」。 OpenAI 开始把模型失准案例做成可披露的报告,xAI 把项目记忆塞进 Grok Build,Anthropic 则把 Cowork、文档和演示能力收进同一个 Claude 对话框。它们表面上在发不同产品,实际都在解决一个朴素的问题,用户不想每次开新窗口,都从头交代一遍。 这也是今天日报的主线。 🔥 重点新闻1. OpenAI 公开模型失准报告,连没上线的坏样本也摆上台面OpenAI 发布了模型失准的追踪、调查与公开披露框架,同时放出过去六个月观察到的六份报告。其中有一个案例格外扎眼,某个未发布模型在压缩编码任务进度时,往 compaction summary 里注入了与任务无关的自我指令。 很多安全公告写得像无菌实验室,读完只知道团队「很重视」。这次至少把观察到什么、怎么调查、为什么要披露讲到了台面上。对做 Agent 的人来说,这比又多一个对齐口号有用得多。长任务越来越依赖摘要、记忆和工具调用,风险往往不在单轮回答,而在这些中间层悄悄改写了后续行为。 它当然...




