早上这一轮消息里，最有意思的不是又多了一个模型，而是 AI 开始碰到真正难啃的工程问题。

端侧怎么塞下大模型，推理集群怎么调度，长时间运行的 Agent 怎么记住事情，代码审查又该看什么。它们听着分散，其实都在问同一件事，模型离生产环境还差哪几块拼图。

DeepSeek 把内部推理框架放到开源社区

DeepSeek 宣布开源内部推理框架 DeepInfer，同时放出生产级 Token 编解码组件 deepseek-recipe。对开发者来说，这比单独发布一个模型更值得盯一眼。

推理系统里，模型权重只是开始。请求调度、KV Cache、批处理、Token 编解码和观测链路，往往才决定一套服务能不能稳定跑起来。国内团队过去常常只能在 vLLM、SGLang 或自研方案之间选，这次 DeepSeek 把自家生产环境的一部分做法拿出来，后面能不能被社区接住，才是关键。

来源，DeepSeek 公告

一套 35B MoE，面壁智能想让它跑进手机

面壁智能介绍了前瞻专家调度 LES，并称 MiniCPM-V 4.7 已实现 35B-A3B MoE 在端侧实时无损运行。在 iPhone 18 Pro Max 的测试中，解码速度超过 20 token/s。

这个数字当然还要看具体任务、量化方式和上下文长度，但方向很清楚。MoE 的价值不只是把总参数做大，还在于每一步只调动一部分专家。如果专家选择、内存搬运和端侧带宽能被处理好，手机不必为了用上更强模型而把所有请求都扔回云端。

端侧 AI 的胜负手，可能不是谁先宣布参数量，而是谁先把等待和隐私这两笔账算明白。

来源，面壁智能解读

OpenAI 把 prompt cache 从几分钟拉到 12 小时

OpenAI API 新增可选的 12 小时 prompt 缓存。官方信息还提到，已登录的 Codex 与 Work 用户可获得持续保留的缓存。

这看起来像计费细节，实际会改 Agent 的工程写法。一个持续工作的 Agent 往往反复携带系统提示、工具定义、项目约束和历史上下文。缓存窗口太短，开发者就得在上下文完整度和成本之间不停妥协。窗口拉长后，长任务、多人协作和带大量工具定义的工作流都会舒服一些。

不过缓存能省输入成本，不会替你解决上下文陈旧的问题。记忆该压缩时还是要压缩，缓存不是长期记忆。

来源，Tibo 转述

MemCurrent 盯上了 Agent 最容易被忽略的部分

Databricks 发布生产级 Agent 持久记忆架构 MemCurrent。它把情景记忆与派生记忆结合起来，并通过插件、工具调用和离线 dreaming 管线读写与整合记忆。

很多 Agent 演示看上去很会聊天，一旦任务跨过几天就开始失忆。把全部历史记录硬塞进上下文，成本高，也会让旧信息反过来干扰判断。MemCurrent 的思路更接近人如何复盘，把发生过什么和从经历里归纳出的规则分开管理。

这块没有银弹。记忆写错、权限不清或过期信息未被淘汰，Agent 只会更自信地犯错。但生产 Agent 想走得远，记忆层迟早要从聊天记录里独立出来。

来源，Databricks Blog

PyTorch 上 TPU，迁移成本开始变得没那么别扭

Google 与 Meta 发布 TorchTPU，为 Google TPU 提供原生 PyTorch 后端。按公告描述，迁移时可将 .to("cuda") 改为 .to("tpu")。Google 还同步推出了基于 TorchTPU 的 vLLM 和 SGLang 原生推理引擎。

当然，真实迁移不会只改一行代码，算子覆盖、性能调优、分布式策略和调试习惯都得重新适配。但 PyTorch 开发者终于少了一层框架切换的心理门槛。对国内做多云或算力异构的团队来说，这类兼容层也有参考价值，关键不是绑定哪家芯片，而是把模型与底层硬件的耦合拆开。

来源，PyTorch Blog 和 Google Developers Blog

llm-d 1.0 想把分布式推理做成 Kubernetes 的标准动作

由 IBM、Red Hat 和 Google 等推动的 llm-d 发布 1.0，项目定位是 Kubernetes 原生的分布式推理服务框架，并宣布进入生产就绪阶段。

模型服务最头疼的事，通常不在单卡吞吐，而在流量波动、异构 GPU、跨节点通信和多租户隔离。把这些问题带进 Kubernetes，不会让它们自动消失，却能把部署、弹性和观测接进企业已有的运维体系。

这类基础设施项目的价值不在于跑一条漂亮 benchmark，而在故障、扩容和版本切换发生时，团队还能不能睡个好觉。

来源，IBM Research

AI 代码越来越多，PR 审查得换一种问法

Tessl 团队分享了一个很现实的变化，AI 生成代码后，团队 PR 数量翻了四倍，代码几乎全部来自 AI。他们不再试图逐行审查 diff，而是在生成前审查意图，并逐条验证验收标准。

这不是降低审查标准，反而是在换一个更难但更有用的问题。代码审查者不该只问这一行写得漂不漂亮，还得问它有没有完成承诺的行为，有没有破坏权限、性能和边界条件。

如果你的团队已经开始用 AI 写代码，这个转向值得尽早讨论。等 diff 多到看不完再改流程，通常已经有点晚了。

来源，Tessl 工程博客

再看一眼模型成绩单，成本终于进入同一张表

DeepSeek-V4.1-Flash-20261017 在 Agent Arena 排名开源模型第一，公告称其中位任务成本约为 0.20 美元。另一份评测信息显示，该模型在 Artificial Analysis Intelligence Index 得分 45，与开源模型第二梯队并列。

榜单不是采购清单，尤其是 Agent 任务会强烈依赖工具、环境和任务分布。但性能和任务成本被放在一起比较，本身就是好信号。企业最终买的不是一串基准分数，而是单位任务成功率、响应时间和故障后的修复成本。

来源，Agent Arena 和 Artificial Analysis

今天想留下的一句话

从端侧 MoE 到 Kubernetes 推理，从缓存到持久记忆，AI 的竞争正在从谁能回答问题，慢慢移到谁能在真实约束里持续把事做完。

这比发布会上的参数表难得多，也有价值得多。