引言

多模态大模型的统一之争，终于走到了“体验时代”的门口。过去的“模型拼贴”——大语言模型外接扩散生成器——在工程上可用，却天然割裂了理解与生成的内在一致性。NUS Show Lab 在 ECCV 2026 给出了一条更“原生”的路线：在同一个 Transformer 中打通自回归与离散扩散，让语言的逻辑推理与视觉的高质生成在同一空间内协同进化。这不仅是多模态技术范式的重构，更为具身智能提供了可落地的通用底座。

打破范式割裂：自回归 × 离散扩散的一体化底座

传统两条路径各有短板：
- 纯自回归适配文本与图文序列，但图像需拆成数百 Token 逐步生成，推理速度与成本居高不下。
- 连续扩散生成高质高效，却停留在连续隐变量空间，难与离散语言 Token 共栖于同一建模框架。

Show-o 架构的关键在于“同体双态”：面向语言与离散符号序列维持自回归链式建模；一旦切换至图像/视频生成，则启用基于离散掩码的扩散过程（Mask-and-Predict），十余步即复原完整视觉 Token。其意义在于：
- 避开自回归绘图的效率泥沼，同时保留语言侧的长程推理能力。
- 以离散扩散替代连续隐空间，使视觉 Token 与 VLM 的离散词表自然对接，统一训练与推理语义。
- 支持多模态任意顺序与组合的输入输出，减少模块拼接带来的对齐误差与调度复杂度。

更重要的是，这种融合不是“外挂”，而是共享一套表征与参数的内生统一。理解-生成的往复训练不断互相校正，让“讲得清楚”与“画得漂亮”不再在两个模型里各自为战。

闭环自监督：从“标注荒”到可扩展学习

具身智能的最大瓶颈不是算力，而是数据。海量未标注视频、长尾场景与文化差异，长期限制了模型的泛化。Show Lab 引入的循环一致性监督，为低资源领域提供了可扩展解法：
- 观察-描述-再合成：模型先在视频上进行自回归理解（描述/摘要/事件拆解），再用离散扩散把描述重构回视觉序列，通过“再现误差”反向约束两端表征，形成闭环信号。
- 跨模态一致性驱动对齐：语言与视觉在同一离散语义空间内对齐，削弱对人工标注的依赖，让模型从海量“生肉”视频中习得物理常识与因果线索。
- 时序一致与去卡顿：在视频生成与预测上加入跨帧掩码与时间一致性损失，缓解逐帧独立采样导致的“卡顿”与漂移，让运动轨迹与动作意图更连贯。

这种“自监督闭环”不仅提升了数据利用率，也将 Scaling Law 的边界向未标注世界延展，使具身智能不再受制于昂贵的标注流水线。

毫秒级到达：Q1 实时骨干与云-端协同

真正的具身落地，关键在反应速度。Show Lab 的 Q1 实时骨干通过精密特征对齐与蒸馏，将高容量云端大模型的能力下放至端侧：
- 结构蒸馏与对齐：保留跨模态统一表征，裁剪推理路径与注意力窗口，确保端侧在毫秒级内完成感知-决策闭环。
- 模式自适配调度：在同一骨干中快速切换自回归/扩散状态，减少上下文切换开销，提升长序列稳定性。
- 云-端协同：云端负责长时程规划与复杂推理，端侧执行低延迟控制与安全制动。两者以离散 Token 作为一致接口，实现带宽友好的语义级通讯。

这一路线证明，统一底座并非只为“想得更深”，更是为了“动得更快”。当语义推理与动作控制共享同一内核，系统对突发物理事件的响应可更接近本能。

影响与展望

• 架构层面：自回归与离散扩散的一体化为“具身大脑”提供了统一语义与生成的共栖空间，减少了模块边界与对齐成本，为多模态任务的端到端优化打开了通道。
• 数据与训练：循环一致性让未标注视频成为有效燃料，结合合成数据与环境交互，可望形成“理解-生成-行动”的持续学习流水线。
• 工程与落地：Q1 骨干与云-端协同描绘了可部署路径，家用机器人、工业协作臂、AR 助手等场景将率先收益。
• 挑战与开放问题：如何稳定调度双范式、设计更优的视觉离散词表、在安全约束下引入在线强化学习、以及建立反映“体验质量”的新评测指标，仍需产业界与学术界共同探索。

当统一的多模态底座贯通感知、语言、生成与行动，AI 不再是被动的回答机，而是能在世界中“看、想、做”的数字生命形态。体验时代的门，正在被推开。

标签： 多模态 自回归 离散扩散 具身智能