Mostik 完全解析:753B 只读题、4B 只作答——跨模型潜空间桥接的机制、账本与疑点

8909 字
45 分钟
Mostik 完全解析:753B 只读题、4B 只作答——跨模型潜空间桥接的机制、账本与疑点

2026 年 9 月初,一家此前几乎没有任何名气的俄罗斯初创公司 Mostik 走出隐身模式(stealth mode),在 WIRED 与中文科技媒体的报道中亮相。让它出名的有两件事:一是它的系统一度冲到 Kaggle ARC-AGI-3 竞赛排行榜第一(据媒体报道目前位居第二),该竞赛把智能体丢进完全陌生的二维交互世界里,不给规则、只给试错空间,被视为当前最接近”测试通用智能”的挑战之一;二是它公开了一项更耐人寻味的实验——让一家公司 7530 亿参数的模型只负责”读题”,读完后一句话都不写,把内部状态直接交给另一家公司 40 亿参数的小模型,由小模型完成全部”作答”,整套混合系统的运行成本据称只有大模型单干的二十分之一。

两家模型背后的公司互不相关,一个来自智谱(Z.ai)的 GLM-5.2(753B),一个来自阿里的 Qwen-3.5(4B);两个模型本身都没有被改动哪怕一个权重。连接它们的,是一个需要单独训练的小模块。Mostik 在俄语里正是”小桥”的意思。

这篇文章不是新闻复述,而是对 Mostik 所做工作的完整解析:先讲清楚”模型内部状态远比输出文字丰富”这件事为什么成立,再拆解”桥”(bridge)的机制与几何学前提,然后算一笔账——“二十分之一的成本”在什么条件下才说得通,最后把它和投机解码、知识蒸馏、跨模型 KV 缓存转移等既有技术路线划清界限,并列出目前还不能轻信的疑点。

背景:所有多模型协作,都卡在同一个”钥匙孔”上#

先看一个关键数字。要理解 Mostik 的动机,需要回答一个问题:一个语言模型生成一个 token(大致对应一个词或词片段)时,它内部到底”算”了多少东西?

Mostik 在官方博客里给出了一笔示意性的账:为了生成一个 token,模型内部会形成一百多个隐藏向量(hidden vectors,每一层 Transformer 的激活都可以看成一个隐藏向量),合计大约一百万个数值,记录着模型此刻对问题的理解、正在考虑的概念、以及准备如何组织后续内容,体量接近 2MB。而最终输出时,模型只是从大约 15 万个候选词的词汇表(vocabulary)里挑出一个词。换句话说,模型内部算出来的绝大部分内容,在落笔的瞬间就被丢弃了。

从信息论(information theory)的角度看这笔账更精确。模型输出通道的信息容量上限是选词带来的不确定性减少,也就是词汇表大小的对数:

Imax=log2Vlog215000017.2 bitI_{\text{max}} = \log_2 V \approx \log_2 150000 \approx 17.2\ \text{bit}

也就是说,不管模型内部状态多么丰富,一个 token 一旦被写出来,它所能携带的信息最多就是 17 比特左右(这是在把选词当作均匀独立事件时的上界,真实文本由于上下文可预测,实际传递的语义信息往往更少)。而 2MB 的内部状态约等于 1.6×10^7 比特——六个数量级的差距。Mostik 用一个比喻概括:一个在上千维空间里思考的系统,最后只能通过”钥匙孔”(keyhole)和另一个系统说话。

模型输出通道的瓶颈示意:近 2MB 内部状态,落到文字只剩 17 比特
模型输出通道的瓶颈示意:近 2MB 内部状态,落到文字只剩 17 比特

图:Mostik 博客开篇横幅,直观展示”钥匙孔”式的输出瓶颈(图自 Mostik 官方博客)

这笔账本身并不复杂,但更有分量的推论在于:今天几乎所有让模型与模型协作的系统——编码智能体(coding agent)群里互相 review 代码的子代理、由多个模型投票的”模型委员会”(model council)、按任务难度在模型之间路由的调度器——底层通信媒介全都是文字。模型 A 内部算了 2MB 的东西,压缩成几百个 token 传给模型 B,模型 B 再把这段文字重新消化成自己的内部表示。每条消息都经过一次”钥匙孔”。

从推理系统领域的视角看,这个问题其实一直被绕开:多智能体框架优化的是”让谁写、写多长、谁来读”,默认通信协议就是文本。Mostik 的主张是:问题不在协议层,而在物理层——两个模型的内部表示本来就可以直接相连,中间的文字环节才是多余的。

当然,“2MB 内部状态里装的都是有用信息”是一个强假设。落笔前就准备好答案或许只是个别层的行为。Mostik 要论证的正是这一点,它依赖的是最近两年可解释性(interpretability)研究的一批结果。

隐藏状态不是”脚手架”:输出之前,模型已经在计划#

长期以来有一种直觉:隐藏状态只是临时脚手架,算完就拆,token 才是成品。近两年的几项研究直接动摇了这个直觉——模型在真正说出一个词之前,内部就已经存在这个词的表征,并且这些”没有说出口”的表征会参与后续决策。

Mostik 博客引用的第一项工作与英语冠词选择有关。模型在”a”和”an”之间做选择时,必须先知道后面的名词是什么(“an”后面必然是元音开头的名词)。Hanna 与 Ameisen 在 ICLR 2026 论文《Latent Planning Emerges with Scale》中(arXiv:2604.12493)对 Qwen-3 系列(0.6B 到 14B)做了干预实验:模型在真正输出”accountant”这个名词之前的若干个位置,内部已经存在指向该名词的表征,这个表征正是模型选择”an”的原因。他们还发现一个关键趋势——这种提前规划(latent planning)能力随模型规模增大而增强。也就是说,模型越大,内部”算了但没说”的内容越丰富,文字通道浪费掉的东西就越多。

第二项来自 Anthropic 的可解释性团队(Lindsey 等人,2025,《On the Biology of a Large Language Model》):研究者发现 Claude 3.5 Haiku 在写诗时,会先在内部确定一句诗末尾的押韵词,再回头组织前面的句子去凑那个韵脚。押韵决策发生在整句诗被写出来之前。

第三项更直接。Gurnee 等人 2026 年发表在 Transformer Circuits 的论文(arXiv:2607.15495)提出用”雅可比透镜”(Jacobian lens)识别模型”此刻正准备说但还没说出口”的概念集合,他们称之为 J 空间(J-space)——一个随推理动态变化的小型概念集合。几个关键发现:模型可以被要求”在心里记住”某个概念,即使接下来生成的文字完全没提到它,这个概念仍会留在内部状态里并影响后续计算;J 空间中的概念具有可迁移性,比如把一个位置上代表”法国”的内部状态换成”中国”,模型对首都问题的回答就会跟着改变。作者们的总结是:这些测量揭示的是模型内部从未出现在输出里的推理与反应。

三项工作合起来指向同一个结论:模型写出来的文字,只覆盖了它内部计算的一小部分。当模型 A 把文字交给模型 B 时,真正丢失的不是格式、不是措辞,而是形成答案的过程本身——那些”想过了但没说”的判断。

对推理系统的工程师来说,这个结论还有一层更实际的意味:如果大模型在 prefill(读取并理解提示词、可以高度并行的阶段)结束时就”想好了”很多东西,而这些想法并不需要等 decode(逐 token 生成的阶段)才慢慢吐出来,那么”思考”和”说话”本来就是可以被拆开的两种负载。这正是 Mostik 实验设计的经济学基础,后面会详细展开。

“桥”的构造:两边都冻结,只有桥在学习#

接下来是机制本身。Mostik 的方案在概念上简洁得近乎朴素:发送方模型完成自己的前向计算后,把隐藏状态交给一个经过训练的小模块”桥”(bridge);桥负责把发送方的表示”翻译”成接收方能够直接使用的表示,再送进接收方模型继续计算。整个过程中没有文字形式的输出在模型间传递。

桥是整套系统里唯一需要训练的部分。两边的模型保持完全冻结(frozen),原始权重一个都不用改,也不需要为了配合对方做任何微调。Mostik 刻意强调”两个模型都冻结”这件事,把它当成一次严格测试:如果两个由不同团队训练、架构和数据都不同的模型,在不做任何自适应的情况下就能通过桥传递有用信息,那么桥利用的就是两个模型本来就共享的结构——而不是某个模型为了配合通道而新长出来的能力。

桥的构造示意:发送方与接收方完全冻结,只有中间的小模块参与训练
桥的构造示意:发送方与接收方完全冻结,只有中间的小模块参与训练

图:桥连接两个冻结模型的示意图(图自 Mostik 官方博客 “What we built” 一节)

这个设计还有一层工程上的意义:模型之间”解耦”。如果以后要更换其中一侧的模型(比如用更新的小模型替代 Qwen-3.5),理论上只需要重新训练这一段映射关系,而不必动任何一侧模型的权重——类比来说,不必拆开两座已经建好的房子,只需要在中间重新铺一条通道。

真正困难的问题在桥的内部:两个模型的”内部世界”并不通用。它们由不同团队开发,训练数据、参数规模、层数、隐藏维度(hidden dimension)都不同,同一个概念在两个模型的表示空间(representation space / latent space)里可能长得完全不同。桥要做的本质上是跨模型、跨维度的坐标变换。Mostik 首席科学家、日内瓦大学教授、2010 年菲尔兹奖得主 Stanislav Smirnov 曾坦言,人们至今没有找到一套合适的数学语言来统一描述不同模型的内部表示——这不是工程细节缺失,而是数学上尚未解决的问题。

既然没有理论,Mostik 的做法是直接研究这些空间的几何性质。他们发现两点:

  • 模型的表征空间之间存在一部分可以预测的共同结构,只要找到对应关系,翻译就有机会成立;
  • 但这种对齐不会随模型能力增强而自动出现——两个模型都变强,并不会让彼此的内部表示变得更接近。

第二点的推论是:桥必须被”建造”,而不能指望它”涌现”。它解释了为什么这个方向上没有出现”免费午餐”式的自然对齐,也解释了为什么桥必须作为一个可训练的模块存在。

至于桥本身的具体形态——层数、宽度、训练数据、损失函数——Mostik 目前没有公开任何细节,这也是后文”疑点清单”里要重点讨论的。另一个没有公开的结构细节是维度处理:753B 模型的表示维度远高于 4B 模型,桥至少需要完成一次跨维度变换(大概率是大幅降维),这个变换本身就是”翻译”的实质内容。跨模型通信并不是全新概念(直接交换 embedding、隐藏状态、KV 缓存的尝试此前都有),Mostik 的独特性在于把”不同模型之间的可训练翻译模块”作为产品化的系统组件来认真对待。

首个实验:753B 只读题,4B 只作答#

理解了桥的构造,再看实验设计,会发现它的巧妙之处在于利用了推理负载自身的不对称性。

读写不对称:prefill 与 decode 的成本结构#

大模型推理的两种负载成本结构完全不同。读取(理解)一段提示词,也就是 prefill,是一次可以高度并行的前向过程:所有输入 token 同时参与计算,把 GPU 的矩阵乘法单元(Tensor Core)喂得很满。生成答案,也就是 decode,是逐 token 串行进行的:每生成一个 token,都要把整个模型的权重从显存(HBM)里读一遍。decode 是显存带宽受限的负载,它的单 token 计算量其实不小——每个 token 的前向都要算一遍全部层——但更致命的是它无法并行、且每次都要搬运全部权重。

用粗粒度公式表达:一个 PP 参数(parameter)的模型,处理 NN 个输入 token、生成 MM 个输出 token 的总计算量大约是 2P(N+M)2P(N+M) FLOP。decode 部分(MM 个 token)无论单次多便宜,都必须串行完成 MM 步,每步都受限于”从显存搬出全部 PP 个参数”的带宽。因此对纯 decode 而言,成本与模型参数量近似成正比:753B 模型的 decode 比 4B 模型贵约 188 倍(bf16 权重体积之比)。而 prefill 虽然总量不小,但它是计算密集、可批处理的,单位成本远低于同模型的 decode,并且可以被连续批处理(continuous batching)与前缀缓存(prefix caching)摊薄。

Mostik 的实验设计正是顺着这个不对称展开:让最贵的模型做相对便宜的读,让最便宜的模型做最贵的逐字写。GLM-5.2 读取问题、在内部完成一轮完整的理解性计算,然后停下来——它不生成任何文字;它的隐藏状态跨过桥传给 Qwen-3.5,由 4B 的小模型逐 token 完成全部文字生成。

实验设置:大模型读完题便停下,隐藏状态跨桥交棒,小模型完成全部生成
实验设置:大模型读完题便停下,隐藏状态跨桥交棒,小模型完成全部生成

图:GLM-5.2 只读不写、Qwen-3.5 完成生成的实验设置(图自 Mostik 官方博客 “The first result” 一节)

这套分工在服务形态上也有现成的参照物:推理服务里常见的”顾问模式”(advisor pattern)中,强模型扮演顾问,读完整段对话、写下指导意见,再让便宜的小模型照着写。在这种既有模式里,用户要为强模型付两笔钱:第一笔是让它在完整上下文上做 prefill(这无法避免),第二笔是让它把思考结果”写成文字”(decode 指导意见)。Mostik 的桥砍掉的正是第二笔:顾问照常读完全部上下文,然后直接停下,它的判断以隐藏状态而非 token 的形式传给小模型。

成绩单:补上一半的差距#

根据 Mostik 官方博客披露的数据(具体分数等细节来自中文媒体对 WIRED 报道的转述),桥接后的混合系统表现如下:

  • 能力差距弥合一半:单独运行的小模型得分明显低于大模型,两者分数之间的距离是需要弥合的差距;接上桥之后,小模型补上了这段差距的约 50%。中文媒体转述 WIRED 报道给出的具体分数是:Qwen-3.5 从 62.35 分提升到 76.79 分,而 GLM-5.2 单独运行是 92.66 分。代入验证一下:(76.79 − 62.35)/(92.66 − 62.35) ≈ 47.6%,与”约一半”的说法自洽;相对自身 62.35 分提升约 23%,也与官方”准确率提升约 25%“的口径接近。
  • 高难任务提升翻倍:在大小模型能力差距更明显的高难度子集上,小模型的成绩最高达到原来的两倍。
  • 混合系统本身仍有上限:76.79 分离 GLM 的 92.66 分还有明显距离——桥传递的是”理解”,但接收方模型自身的容量(capacity)仍然限制了它能利用多少信息。这决定了这套技术是”逼近大模型”而不是”复制大模型”。

桥接前后性能对比配图:小模型补上约一半差距,但未追平大模型
桥接前后性能对比配图:小模型补上约一半差距,但未追平大模型

图:桥接前后性能对比(图自 Mostik 官方博客”第一个结果”一节)

还有一组与”文字交接”的对照实验,它对理解桥的价值边界更重要。两种方案都是”大模型先处理一部分问题,然后把工作转交给小模型”,区别只在于传过去的是大模型写出的文字,还是它当时的内部状态。结果是:在测试的每一个”大模型计算量档位”上,隐藏状态交接都优于文字交接,最高领先 10 个百分点;而且交接越早,优势越大。原因很直观:任务刚开始时,大模型还什么都没写,文字交接几乎无物可传,而它的隐藏状态已经装满了对问题的初步理解。随着大模型继续算下去、写出更多文字,两种方案的差距逐渐收窄——原先藏在内部的信息开始通过文字显露出来——但隐藏状态方案在整个过程中始终保持着更好的性能-算力比。

“成本只有二十分之一”的账本:什么条件下成立#

媒体传播最广的数字是”运行成本只有完整 GLM 模型的二十分之一”。这个数字需要仔细拆解,因为它并不是无条件成立的。

口径一:对比”同分中型模型”,官方说法是 2.5 倍#

Mostik 官方博客给出的表述其实更克制:假设存在一个中型模型,其成绩恰好与桥接组合相当,那么运行桥接组合所需的计算量只有运行该中型模型的约四成(官方原文是”成本低 2.5 倍”,即节省约 60%)。注意这里比较的对象是”成绩相当的中型模型”,不是一个 753B 旗舰模型。

口径二:与多种组合方式的 Pareto 对比#

Mostik 还把桥接系统与若干标准的”多模型组合”方式(让多个模型各自输出后取最佳、级联推理等)放在同一张性能-成本图上比较,官方博客的表述是:在所有这些组合方式中,桥接系统呈现出清晰的 Pareto 改进——即不存在另一种被测的组合方式能在相同成本下取得更高性能,或相同性能下花费更低成本。

桥接系统与多种标准协作方式的性能-成本对比,呈 Pareto 改进
桥接系统与多种标准协作方式的性能-成本对比,呈 Pareto 改进

图:桥接系统与多种组合方式的 Pareto 对比(图自 Mostik 官方博客”第一个结果”一节)

口径三:对比”GLM 独立完成”,二十分之一需要输出远长于输入#

媒体(WIRED 转述、机器之心等中文报道)的口径是与 GLM-5.2 独立完成整个任务相比。这个数字能不能成立,取决于任务的输入输出 token 构成。做一个粗粒度的数量级分析。

设一个任务的输入为 NN 个 token、输出为 MM 个 token。忽略桥自身的开销与批处理效应,把计算成本近似为参数量与 token 数的乘积:GLM 独立完成的成本约为 753(N+M)753(N+M)(以”单位×十亿参数×token”计),桥接组合的成本约为 753N+4M753N + 4M(prefill 仍由 753B 完成,decode 由 4B 完成),成本比为:

r=753N+4M753(N+M)r = \frac{753N + 4M}{753(N+M)}

分别代入几种输入输出比例:

  • 输入输出等长(M=NM = N):r0.50r \approx 0.50,成本只省一半;
  • 输出为输入的 4 倍(M=4NM = 4N):r0.20r \approx 0.20,省 80%;
  • 输出为输入的 10 倍(M=10NM = 10N):r0.096r \approx 0.096,约十分之一;
  • 输出为输入的 21 倍(M21NM \approx 21N):r0.05r \approx 0.05,才达到”二十分之一”。

这个粗算说明了三件事。第一,“二十分之一”在数学上并非不可能,但它要求输出 token 数量远超输入 token(大约 20 倍以上),或者计入服务端部署的整体开销差异(比如 4B 模型可以塞进更小的机器、利用率更高、更易量化压缩)。第二,对典型的短问答(输出与输入同量级甚至更短),桥接组合相对 GLM 单干的成本优势只有两倍左右,远达不到”二十分之一”的戏剧性效果。第三,Mostik 博客与媒体报道都没有披露其测试任务的 token 构成,也没有给出桥的参数量、训练成本与推理开销,因此这个数字目前只能当作”特定任务下的演示数据”来理解,而非普适结论。

真正划算的场景:decode 主导的工作负载#

把上面的分析反转过来,就能画出这套技术的适用面:凡是 decode 成本占主导的场景,把 decode 外包给 4B 模型就划算。典型候选包括:

  • 长报告、长代码生成——输出可达数万 token,输入相对短;
  • 智能体(agent)循环——模型需要反复与环境交互、生成大量中间文本;
  • 批量离线任务——对延迟不敏感,可以接受大模型 prefill 的等待;
  • 大模型 prefill 结果可被缓存复用的场景——同一份长文档被反复提问时,prefill 成本摊销后趋近于零,剩下几乎全是 decode。

反过来,输出很短的场景(分类、抽取、判断),主要成本在 prefill,桥接组合省不下多少钱——大模型读题的钱一分没少花。

官方给出的两种部署形态#

Mostik 官网的”合作方式”一节其实已经把上述分析翻译成了两种工程形态。第一种面向低延迟服务(low-latency serving):强模型只在工作负载的选定节点贡献 prefill 状态,其余全部由小模型解码——重计算只花在最值得花的地方,token 生成始终留在更快更便宜的小模型上。第二种面向可容忍批处理式延迟的负载:桥接的潜状态在两个独立部署的端点之间传输,小模型可以跑在任何有闲置算力的地方,包括老旧的、利用率不足的 GPU。第二种形态的潜台词是:潜空间通信的带宽需求不是障碍——传输的不是权重,只是一次推理的激活值,量级与普通请求的 KV 缓存相当。

与近邻路线的界线:它不是什么#

Mostik 的”大模型思考、小模型说话”很容易让人联想到一系列已有技术。划清界线有助于理解它真正的新意与局限。

与投机解码(speculative decoding)方向相反。投机解码(如本站此前介绍的 DSpark、MTP 等)是小模型快速草拟、大模型并行验收,用”便宜的猜测”换取大模型的高质量裁决,方向是从小到大。Mostik 是大的把理解算好交给小的去写,方向是从大到小。两者的目的也不同:投机解码追求在保住大模型输出质量的前提下加速;Mostik 接受输出质量的折损(补上约一半差距),换取的是彻底甩掉大模型的 decode 成本。一句话总结:投机解码是”让便宜的模型替贵的模型跑腿”,Mostik 是”让贵的模型替便宜的模型动脑”。

不是知识蒸馏(knowledge distillation)。蒸馏把教师模型的能力压缩进学生模型的权重里,是一次性、静态的迁移,学生从此独立运行。Mostik 的桥是运行时(runtime)的通道,两侧权重都不变,能力迁移在每次推理时动态发生。两者互补而非竞争,而且 Mostik 明确把”训练期桥接”列为下一步——让桥在学生训练时就存在,教师在学生生成答案的过程中实时指导,而不是等学生交卷后打分。官方博客称初步信号显示这种”通道蒸馏”在同等训练预算下能让学生更贴近教师,但实验仍在进行中。

区别于跨模型 KV 缓存转移(cross-model KV transfer)。本站此前介绍过一类工作:同族模型(如同一家族的多个尺寸)之间的 KV 缓存近似线性相关,可以用闭式映射把小模型算好的 KV 缓存喂给大模型,跳过小模型的 prefill 复用。它与 Mostik 的区别在多个维度:方向(KV 转移是小到大,Mostik 是大到小)、模型家族(KV 转移依赖同族同构的强假设,Mostik 声称跨公司跨架构也可行)、机制(KV 转移用解析的线性映射,Mostik 用可训练的桥)、传递对象(KV 缓存是注意力模块专用的键值,隐藏状态是模型各层的完整激活)。两者恰好互补:KV 转移解决”同一个任务反复用不同模型跑”的浪费,Mostik 解决”一个任务由不同模型分工协作”的浪费。

比”上下文工程”更底层。把大模型的思考以文字形式注入另一个模型的上下文(典型如把长思维链推理过程完整传给下游模型),本质上是把文字通道用到极致。Mostik 主张的是干脆换一条通道——这也意味着它绕过了为文字设计的一切基础设施,包括审核与监控,这一点后文单独讨论。

疑点清单:哪些结论还不能信#

作为一篇解析文章,有必要把目前证据链上的薄弱环节列清楚。Mostik 的结果目前主要来自它自己的技术披露与媒体报道,尚未通过同行评议或外部复现。

第一,桥的内部构造与训练细节完全未公开。桥的架构、参数量、训练数据、训练成本、损失函数、一次桥接的推理开销——全部缺失。没有这些信息,“桥很便宜”和”桥本身就要消耗大量算力”两种完全相反的可能性都无法排除。更换一侧模型后重新训练桥的成本同样未知。

第二,“二十分之一”与各项成绩的口径不完整。如前文推算,成本数字高度依赖任务输入输出构成;62.35 分到 76.79 分的具体分数来自媒体对 WIRED 的转述,而非可复现的评测报告。评测集构成、与文本交接对照的基准设置(是否使用相同的提示词模板)都没有披露。

第三,ARC-AGI-3 的成绩无法验证。比赛仍在进行,Mostik 拒绝透露参赛系统细节,该成绩也没有经过完全的外部验证(排行榜上部分条目本身处于”预览”状态)。排行榜成绩受比赛规则、算力投入与提交策略影响,即使属实,也不能直接外推为通用能力。

第四,跨模型对齐的理论基础尚未建立。Smirnov 本人承认缺乏描述不同模型内部表示的数学语言。目前只有”存在可预测的共同结构”这一经验观察,没有理论解释哪些结构可预测、为什么可预测、极限在哪里。桥在 GLM/Qwen 这对模型上可行,不保证在架构差异更大的组合上可行——比如使用了旋转位置编码(RoPE)的模型与未使用的模型、稠密模型与混合专家(MoE)模型之间。

第五,安全与监管问题被搁置了。这是最容易被忽略的一条。文本通道虽然”损失信息”,但它同时是人类社会给 AI 之间通信安装的”安检通道”:内容审核、敏感信息过滤、思维链监控(chain-of-thought monitoring)都建立在文字可见的前提上。潜空间通道如果成为标准做法,模型之间交换的信息将不再经过任何人类可读的检查点——Mostik 博客自己在讨论可解释性时引用的研究(Korbak 等人 2025 年关于思维链监控脆弱性的论文,arXiv:2507.11473)反而提示了这种风险:监控”说出口的话”已经不可靠,监控”不说出口的话”更无从谈起。此外,以 token 计费的商业模式建立在”模型必须把思考写成文字”之上,潜空间通信一旦普及,token 经济的计量单位也需要重新定义。这些都是方向性问题,Mostik 没有给出答案。

推理系统的视角:这意味着什么#

抛开”俄罗斯数学团队”的叙事,把 Mostik 的实验当作一个推理系统的架构提案来读,它其实在三个层面提出了问题。

在负载层面,它把”prefill 与 decode 可以分离”这个已有结论(P/D 分离已是推理服务领域的成熟实践)推到了极致:不只分离同一模型的两个阶段,而是让不同模型分别承担两个阶段,且大模型只承担理论上可被批处理、可被缓存、可被摊销的 prefill。如果这条路线成立,旗舰模型在服务架构中的角色会从”全能选手”变成”读题机”——按 prefill 吞吐计费,不按输出 token 计费。

在质量-成本权衡层面,它为”预算有限但想要更强模型”的场景提供了一个新旋钮。此前获得接近大模型质量的路径是蒸馏(需要训练)或投机解码(需要保持大模型在线)。Mostik 提供的是第三条:运行时借用大模型的”思考”,小模型只付出 4B 的 decode 成本。这条路径不需要重训小模型、不需要在本地部署大模型,代价是质量只能逼近、不能达到大模型水平,且桥需要预先训练好。

在模型生态层面,如果开源模型社区接受了”桥”作为标准组件,模型竞争力就不再只取决于单个模型的参数量,而取决于它与其他模型协作的难易程度——这会催生”通用大模型 + 领域专用小模型”的组合模式:生物、物理、法律、代码等窄领域各自训练小模块,通过潜空间通道与通用模型协同工作,为通用模型增加新能力时不再需要重训整个系统。Mostik 背靠 General Catalyst 与 Foundation Capital 的投资,官网正在公开招募做表示几何、跨模型迁移与潜通道可解释性的合作者,说明它把桥当成一个平台级组件在经营,而不是一次性的论文实验。

最后回到信息论的起点。一个 token 最多携带 17 比特,而模型为了写出它算了六个数量级以上的内部状态——只要这句话成立,“模型之间该不该用文字交流”就会一直是个值得认真对待的问题。Mostik 的贡献与其说是给出了最终答案,不如说是用一次跨越 753B 与 4B 的演示,把这个问题的工程可行性摆到了台面上。桥的具体形态、成本账的完整口径、跨架构的普适性,都还有待更透明的证据。

小结#

本文完整解析了 Mostik 的跨模型潜空间桥接技术:

  • 动机:模型输出一个 token 至多携带约 17 比特(log2150000\log_2 150000)信息,而内部计算状态接近 2MB;可解释性研究(提前规划、押韵先行、J 空间)表明未输出的内部状态确实承载了参与决策的信息,文字通信因此是”钥匙孔”式的低损通道;
  • 机制:在完全冻结的发送方与接收方模型之间训练一个可翻译的桥模块,利用两个表示空间之间存在但不会自动涌现的可预测对齐结构;桥是唯一可训练部分;
  • 实验:GLM-5.2(753B)只完成 prefill,隐藏状态过桥后由 Qwen-3.5(4B)完成全部 decode,补上约一半能力差距,高于文字交接最多 10 个百分点,交接越早优势越大;
  • 账本:“二十分之一成本”依赖输出远长于输入的负载结构(粗算需 M21NM \approx 21N);官方博客更稳健的口径是与同分中型模型相比节省约 60% 算力;
  • 界线:与投机解码方向相反,不同于静态蒸馏与同族 KV 转移,是”贵模型动脑、便宜模型写字”的运行时分工;
  • 疑点:桥与训练细节未公开、成绩未经外部验证、理论根基(跨模型表示对齐)尚未建立、潜空间通道绕过人类可读的监管接口。

Mostik 的系统尚未开源,论文与可复现实验缺席,其通用性需要更多外部证据——但”让大模型只读题”这个想法本身,已经给推理服务的架构设计增加了一个此前不在选项清单上的自由度。

参考资料#

  1. Mostik 官方博客:Bridging models’ internal states
  2. WIRED:Russian Startup Mostik Lets AI Models Communicate Without Words
  3. 机器之心报道(新浪财经转载):ARC 黑马 Mostik 让模型直接交换内部信息
  4. ENGtechnica:Mostik Lets AI Models Communicate Without Words(WIRED 摘要版)
  5. ForkLog:Mostik unveils method enabling AI models to share internal states without text
  6. ITBear:俄罗斯数学团队突破 AI 协作瓶颈——用”心电感应”桥让大小模型无缝对话
  7. Hanna & Ameisen:Latent Planning Emerges with Scale(ICLR 2026,arXiv:2604.12493)
  8. Gurnee et al.:Verbalizable Representations Form a Global Workspace in Language Models(arXiv:2607.15495)
  9. Korbak et al.:Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety(arXiv:2507.11473)
  10. Anthropic Transformer Circuits:On the Biology of a Large Language Model

关联阅读:跨模型 KV 缓存转移(同族模型间 KV 线性映射,与桥的方向相反)、投机解码综述视角的 DSpark(小模型草稿、大模型验收)、信息论基础(熵与比特:17 比特上限的推导背景)。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

Mostik 完全解析:753B 只读题、4B 只作答——跨模型潜空间桥接的机制、账本与疑点
https://pinghaoyang.com.cn/aigc/posts/mostik/
作者
平昊阳
发布于
2026-09-07
许可协议
CC BY-NC-SA 4.0

评论区

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
--
总访问量
--
访客数
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
165
分类
25
标签
232
总字数
1,824,520
运行时长
0
最后活动
0 天前

文章目录