封面

昨天刷到一条推文，前 OpenAI CTO Mira 创立的 Thinking Machines 公司，发了个新东西。

叫”交互模型”。

我当时就愣住了。交互模型？哪个模型不能交互？

点进去一看，发现这名字起得有点东西。它说的”交互”，不是你点一下它回一句那种。

是原生多模态、实时、持续的交互。

先说背景

Mira Murati，OpenAI 前 CTO，2024 年离开后创立了 Thinking Machines。

这家公司的定位很明确：做真正能和人”实时协作”的 AI。

不是 ChatGPT 那种一问一答。是你说话的同时它在听，你看东西的同时它在看，你随时打断它都能接上。

听起来很科幻？他们说已经做出来了。

双层架构

这次发布的核心，是一个双层架构设计。

前台是”交互模型”。后台是”推理模型”。

双层架构对比图

前台交互模型，以 200 毫秒为节点处理输入。什么意思呢？就是你说话、做手势、展示画面，它每 200 毫秒就处理一次，保持”在场感”。

在场感这个词很有意思。就像你和人聊天，对方一直在点头、嗯嗯、看着你，你就知道他在听。如果他盯着手机不说话，你就觉得他走神了。

前台交互模型做的就是这个事。它不一定在”思考”，但它一直在”在场”。

后台推理模型呢？它负责真正的大脑工作。长程规划、工具调用、复杂推理。

两个模型协同工作。前台负责”陪你聊”，后台负责”帮你干”。

和传统 Agent 有什么区别

传统的 Agent 方案，是串联多个独立模型。

比如你问一个问题，系统先把语音转文字，然后调用大模型理解，再调用工具执行，最后把结果转成语音回复。

这中间有延迟。每一步都要等上一步完成。

你说话的时候，它在等你说完。你说完了，它在等转写。转写完了，它在等理解。理解完了，它在等执行。

用户体验是什么？就是那种”请稍等，正在处理中”的感觉。

Thinking Machines 的方案不一样。它是原生多模态的。

原生的意思是，它不是一个模型处理完传给下一个模型。而是同一个模型，同时处理音频、视频、文本。

就像人的大脑。你看到一个东西的同时，就在理解它。不是先用眼睛看，再用大脑想。

技术挑战

这个方案听起来很美好，但技术上很难。

技术挑战四要素

第一，延迟。200 毫秒的处理周期，意味着模型必须在极短时间内完成推理。这对模型的效率要求极高。

第二，打断。用户随时可能打断 AI 的输出，AI 必须能即时响应。这需要模型有很强的”中断处理”能力。

第三，上下文。前台交互模型要维护一个持续的上下文，记录用户说了什么、做了什么。这个上下文会越来越长，怎么高效管理是个问题。

第四，协同。前台和后台怎么配合？前台什么时候该”自己回”，什么时候该”交给后台”？这个决策逻辑很复杂。

为什么叫”交互模型”

回到最开始的问题。为什么叫”交互模型”，不叫”多模态模型”或者”实时模型”？

因为他们想强调的不是技术能力，而是用户体验。

多模态只是手段。交互才是目的。

传统的多模态模型，是”我能处理图片、音频、视频”。但处理完之后呢？还是得等。

Thinking Machines 的交互模型，是”我一直在你身边，随时准备响应”。

这个区别，就像打电话和发微信。

打电话是实时的。你说话的同时对方在听，随时可以插话。

发微信是异步的。你发一条，等对方回，再发一条。

Thinking Machines 想做的，是打电话式的 AI。

应用场景

这种实时交互的 AI，适合什么场景？

应用场景

第一，协作场景。比如你和 AI 一起写代码、一起画图、一起做 PPT。你做一步，AI 实时给反馈。

第二，教学场景。比如 AI 教你弹吉他、教你做菜。你做的同时，AI 就在看、在纠正。

第三，陪伴场景。比如 AI 陪老人聊天、陪小孩玩。这种场景需要”在场感”，不能冷场。

第四，专业场景。比如手术辅助、工业巡检。需要 AI 实时观察、实时提醒。

我的看法

坦率的讲，我觉得这个方向是对的。

现在大部分 AI 产品，还是”一问一答”的模式。你问它答，你不问它就等着。

这和人与人的交流方式差太远了。

人和人交流，是持续的、多模态的、随时可以打断的。你看我一眼我就知道你想说什么，你皱个眉我就知道你不满意。

AI 要真正融入人类的工作和生活，就必须学会这种”交互”。

Thinking Machines 的双层架构，是一个很好的尝试。前台负责”在场”，后台负责”思考”。就像你和朋友聊天，朋友一边听你说，一边在脑子里想怎么回你。

当然，现在还只是发布阶段。实际效果怎么样，还得等产品出来才知道。

但至少，他们提出了一个新的范式。

不是”更聪明的 AI”，而是”更会交互的 AI”。

这两个东西，不是一回事。

最后

Mira 离开 OpenAI 的时候，很多人说她是要去做”OpenAI 的竞争对手”。

现在看来，她做的不是竞争，是补位。

OpenAI 在做更聪明的大脑。Thinking Machines 在做更自然的交互。

一个负责想，一个负责聊。

这两个事，都很重要。