蚂蚁灵波发布全球首个具身智能视频生成模型LingBot-Video
全球首个面向具身智能的视频基模：LingBot-Video 开源发布
7 月 9 日，蚂蚁灵波重磅开源了全球首个具身智能视频生成基础模型——LingBot-Video。这款模型基于 Mixture-of-Experts（MoE）架构，旨在解决机器人和具身智能领域对视频生成的特殊需求。与传统的视频生成模型不同，LingBot-Video 不仅追求视觉效果的精美，更关注物理规律的合理性、动作理解的精确性以及任务执行的完整性。这一开源发布标志着视频基础模型从内容创作走向具身智能的转型迈出了关键一步。
视频生成的两条演进路径
近年来，视频生成技术快速发展，尤其是在画质、流畅度和创意表现方面。然而，不同的应用场景提出了截然不同的需求，导致视频生成技术逐渐分化为两条演进路径：
- 内容创作方向：面向影视制作、广告设计等领域，追求视频的视觉效果和艺术表现力。
- 具身智能方向：服务于机器人操作、物理世界的理解和交互，强调生成符合物理规律的视频内容。
在具身智能场景中，模型需要生成能够反映真实世界物理规律的视频，以支持机器人进行任务规划和执行。一个仅仅“看起来真实”的视频可能在视觉上令人满意，但如果缺乏物理合理性，机器人将难以依赖这些内容完成高效、精准的操作。
LingBot-Video 的创新设计
为满足具身智能的独特需求，LingBot-Video 从架构、数据和训练三方面进行了全面创新。
1. 架构：MoE 提升推理效率
LingBot-Video 采用了 DiT（Diffusion Transformer）与 MoE 相结合的架构设计。与传统的 Dense 模型相比，MoE 通过只激活部分专家模块完成推理，大幅提升了效率。这种设计使得 LingBot-Video 在拥有 30B 参数规模的同时，仅需激活约 3B 参数即可完成生成任务。与同等规模 Dense 模型相比，推理效率提升了 3 倍，显著降低了资源消耗。
这种架构不仅增强了模型的视觉表达能力，还更适配具身智能领域对实时性和高效性的需求。
2. 数据：引入具身场景数据
LingBot-Video 的训练数据来源经过精心设计。除了海量互联网视频数据外，蚂蚁灵波还引入了与机器人操作密切相关的 VLA（视觉-动作配对）、VLN（视觉-语言导航）以及 Ego（第一视角互动）等数据类型，总计覆盖了 7 万小时的具身数据。这些数据不仅描述了动作与环境变化的关系，还涵盖了机器人移动、灵巧操作等复杂场景，为模型提供了更加贴近实际应用的训练素材。
3. 训练：强化物理合理性
在训练过程中，LingBot-Video 引入了多维强化学习奖励机制，除常规的美学质量、prompt 跟随和运动一致性外，特别强调了物理合理性和任务完成度。通过这一设置，模型能够生成更加贴合真实物理世界的视频内容，例如机器人拿起物品时的受力动作，推开门时的角度变化等。这种对真实世界规律的模拟能力，使得 LingBot-Video 更加适用于具身智能相关任务。
性能验证：RBench 基准测试的优异表现
LingBot-Video 的实力在北京大学与字节跳动联合发布的 RBench 测试中得到了充分验证。RBench 是专为机器人操作视频设计的综合评测基准，重点考察模型生成的内容是否符合物理规律以及任务执行的完整性。
在 RBench 的评测中，LingBot-Video 以 0.620 的总分超越了 Wan2.6（0.607）、Seedance 1.5 Pro（0.584）和 Cosmos3 Super（0.581）等主流模型，展现了其在具身智能场景中的绝对领先优势。此外，蚂蚁灵波还通过内部 benchmark 进一步验证了 LingBot-Video 的性能。在与 NVIDIA Cosmos 3、LongCat-Video 等模型的对比中，LingBot-Video 在物理理解和动作一致性方面表现尤为突出。
影响与展望
LingBot-Video 的发布不仅是视频生成技术的一次突破，也是具身智能迈向更高水平的一大步。以下是几个可能的深远影响：
-
推动机器人研究的进步
LingBot-Video 可用于机器人动作预测、仿真数据生成和世界模型研究等方向，为机器人从感知到执行任务提供了更强大的技术支持。 -
促进人机交互体验的提升
通过生成符合物理规律的互动视频，这一模型有望提升虚拟助手、智能家居等场景的用户体验。 -
加速具身智能的产业化落地
开源的 LingBot-Video 提供了一个高水平的基础模型，降低了行业门槛，使更多企业能够快速搭建具身智能应用。
未来，随着更大规模数据的引入和模型设计的不断完善，我们有理由期待更多具身智能场景的创新应用，从自动驾驶到服务机器人，从虚拟现实到数字孪生，LingBot-Video 的潜力无疑值得关注。
标签： 具身智能 视频生成 模型架构 人工智能 开源
