当前位置:首页 > 综合 > 今天,具身智能大模型迈入「具身原生」的新阶段! 正文

今天,具身智能大模型迈入「具身原生」的新阶段!

来源:创艾特资讯网   作者:综合   时间:2026-07-17 04:41:07

编辑|冷猫

随着 WAIC 2026 上海大会的今天临近,具身智能作为今年最核心的具身议题之一,其技术路线之争愈发激烈。大模段预计展会将汇聚超两百家相关企业,型迈新阶聚焦于构建机器人的入具「大脑」。

今日,身原生蚂蚁灵波正式推出 LingBot-VA 2.0,今天这是具身行业首个「具身原生」预训练模型,为具身智能提供了一套全新的大模段技术答案。

https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw

什么是型迈新阶「具身原生」?

「具身原生」绝非营销噱头,而是入具一种根本性的设计哲学。它意味着模型从数据构成、身原生训练目标到架构设计,今天自第一步起便专为「机器人在真实物理世界中完成任务」而构建。具身

与复用数字世界中为内容创作而生的大模段视频生成模型不同,LingBot-VA 2.0 遵循另一种思路:让模型从第一个参数开始,就为物理世界而生。

技术报告:Native Video-Action Pretraining for Generalizable Robot Control
报告地址:https://github.com/Robbyant/lingbot-va/blob/main/LingBot_VA2_paper.pdf
项目页面:https://technology.robbyant.com/lingbot-va-v2

该模型基于自回归视频生成模型从零预训练,其核心逻辑可浓缩为一句话:「边推演、边行动」——即在预测世界下一步状态的同时生成动作。为实现这一目标的可用、通用与高效,蚂蚁灵波在训练目标与推理机制上进行了系统性创新。

LingBot-VA 2.0 总览

行业首个「具身原生」预训练模型

具身智能的预训练目标与普通视频生成模型存在本质差异:

  • 普通视频生成模型学习的是「相关性」:给定几帧画面,推测后续画面「通常」的样子。
  • 具身智能需要的是「因果性」:当前多数数字世界模型采用双向建模,利用过去和未来信息;而机器人执行任务是单向的,只能基于当前观测和历史状态决定下一步。

只有实现完美的因果性预测,机器人才具备自主决策能力,而非被动响应。LingBot-VA 2.0 将因果建模置于预训练核心,实现了预测范式与执行范式的对齐。尽管预训练难度更高,但模型从一开始便遵循机器人真实的执行逻辑,理解动作如何影响环境并驱动世界状态演化。

新一代 VAE:「语义」与「动作」的对齐

具身模型的一大痛点是「理解指令」与「生成动作」之间的落差,根源往往在于视觉 Tokenizer(变分自编码器 VAE)。VAE 负责将连续视觉信号压缩为离散表示,其压缩质量直接决定模型能否同时捕捉「语义」与「动作」。

LingBot-VA 2.0 引入新一代 VAE 架构,在压缩视觉信息时即实现「语义」与「动作」的对齐,使模型对文本指令的响应更准确,将「理解指令」顺畅转化为「执行动作」。

语义视觉 - 动作分词器

为解决世界理解与动作控制的对齐问题,LingBot-VA 2.0 采用了语义视觉 - 动作 Tokenizer(基于 ViT 自编码器)。在标准重建目标(像素、感知、对抗损失)基础上,新增两个关键目标:

  1. 语义对齐:利用冻结的感知编码器(Perception Encoder)作为「老师」,在压缩视觉信息时引导隐变量向教师特征靠拢。既吸收片段级语义,又保留逐帧细节,使隐变量语义更丰富。
  2. 隐动作抽取:冻结视觉 Tokenizer 后,训练一对逆动力学模型(IDM)和前向动力学模型(FDM)。IDM 从相邻两帧隐变量中解出低维「隐动作」;FDM 验证给定当前帧和「隐动作」能否重建下一帧。

关键突破:此过程无需任何动作标注。即使无标签网络视频,也携带了「动作相关」的监督信号。最终输出的视觉 - 动作隐变量直接成为训练目标,将世界状态与动作置于同一语义隐空间,打通了从「看懂」到「做到」的路径。

MCP:更远的预测视野

让模型理解「我的动作如何改变世界」是核心目的。然而,从零训练视频 - 动作模型存在隐蔽陷阱:

在教师强制(Teacher Forcing)训练中,若仅监督「下一个块(Chunk)」,在高帧率下相邻画面相似,模型易趋向于复制上一帧外观以降低损失。这种「近视」监督导致模型仅关注短期视觉连贯,无法学习真正的物理动力学。

LingBot-VA 2.0 借鉴 Next Forcing思路,引入多块预测(Multi-Chunk Prediction, MCP)机制:

多块预测(Multi-Chunk Prediction, MCP)

训练时,主干 DiT 挂载三个轻量辅助模块,分别负责更远的预测视野(默认未来 3 个片段)。这些模块串联成因果链:后一模块依赖前一模块输出,以近处预测指导远处预测。远处片段的梯度沿链回流至主干,强制隐变量组织成「轨迹级动力学」,避免短期视觉连贯陷阱。

显著收益
* 在 RoboTwin 基准上,开启 MCP 的版本收敛更快、成功率更高。
* 在 50fps 高帧率下,训练 5k 步即比基线高出 29.7%成功率。
* 仅需 20k 步即可追平基线 45k 步的精度,实现 2.3 倍训练加速

多块预测消融实验:RoboTwin 基准测试中不同训练步数对应的任务成功率变化。

部署优势:MCP 仅在训练期生效。部署时可移除辅助模块,主策略仍受益,不增加推理开销;也可保留用于并行预测,进一步降低闭环控制延迟。

全新的高效推理策略

Foresight Reasoning:异步推理策略

传统机器人控制遵循「观察-推理-执行-再观察」串行循环,模型延迟直接转化为控制延迟。

LingBot-VA 2.0 将链路拆分为两条异步推进的「流」:

  1. 预测流:预测未来视觉隐变量及解码动作。
  2. 执行流:机器人执行当前动作片段。

当机器人执行动作 $a_t$ 时,预测流已提前准备 $a_{t+1}$。模型思考时间被隐藏于机器人运动时间内,赋予机器人类似「老司机」的预判能力。

风险与解法:预测 - 校正机制
若预测流仅依赖自身想象,易偏离现实。LingBot-VA 2.0 采用「预测 - 校正」策略:每当真实观测帧返回,即编码为真实隐变量,覆盖 KV-cache 中的想象值,并结合已执行动作重新锚定上下文。下一次预测基于校准后的缓存出发,确保异步预测始终闭环。

前瞻推理(Foresight Reasoning)作为异步推理 - 执行流程。

直接收益:提升控制频率,使机器人在动态场景(如物体移动、环境干扰)中保持高成功率与鲁棒性,避免因「正在思考」而错失操作时机。

稀疏 MoE 架构重塑具身模型

预训练「懂世界」的底座需大模型容量,但需兼顾效率。LingBot-VA 2.0 引入稀疏 MoE 架构(与开源视频生成模型 LingBot-Video 策略一致)。

  • 非对称放缩:视频专家在每个因果 DiT 块中将稠密前馈层替换为稀疏路由 MoE,动作专家保持稠密。路由沿用 DeepSeek 系列验证的稀疏扩展思路。
  • 无辅助损失负载均衡:每步训练后,根据各专家实际分到的 Token 数量微调选择偏置,平衡负载,不注入额外均衡梯度,避免干扰主任务优化。

MoE-13B-A1.9B 视频流模型与 Dense-5B 基线模型的训练损失对比。

在相同训练时间下,两者损失曲线几乎重合,证明稀疏视频流在扩大容量的同时,未引入额外优化代价

推理加速

为将模型部署至真实机器人,团队实施了三层推理优化:

  1. 采样步数蒸馏:将迭代去噪蒸馏为一致性模型,视频与动作专家均压至 2 步,单片段推理时间从 927ms 降至 466ms。
  2. 模型层:采用 FP8 精度与 TensorRT 编译替换原生 DiT 前向,降至 369ms。
  3. 序列层:针对自回归 Rollout 的注意力开销,采用分页/变长 KV-cache 管理配合 FlashInfer 算子,降至 272ms。
  4. 系统层:摊薄主机端准备、内存分配和同步开销,最终压至 142ms

推理加速:不同加速技术下的推理时间及异步控制频率对比。

最终成果:端到端推理时间从 927ms/片段降至 142ms/片段,异步控制频率从 35Hz 提升至 225Hz,实现 6.5 倍端到端推理加速。这是从「能演示」到「能干活」的关键跨越。

实验结果

上述设计叠加后,LingBot-VA 2.0 在双臂操作基准 RoboTwin 2.0上取得最佳成绩:

  • 平均成功率 93.6%(干净与域随机设置下)。
  • 高稳健性:从干净环境切换至域随机环境,成功率仅下降 0.4 个百分点,证明模型在视觉和物理条件变化时仍能稳定完成任务。

RoboTwin 2.0 双臂操作成功率(%)。

真机部署表现
团队在自建基准上,仅采集 20 条遥操作示范训练通用策略,并部署至所有任务。结果显示,LingBot-VA 2.0 在成功率和任务进度上均表现优异,尤其在需要长程视觉追踪闭环纠错的任务中优势明显,策略能从执行中途失误中恢复。

真实世界部署结果:LingBot-VA 2.0 与代表性基线方法对比。

场景演示

  1. 实时小球对战:流畅与人类玩家对战,展示对未来世界动态建模及物体运动预测能力,响应速度惊人。

    https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw

  2. 精细物体操控:控制机器人横向捏起薯片而不碎,仅凭视觉输入实现精细粒度控制。

    https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw

  3. 多机械手协作:同时控制多个机械手完成流水线装箱和日常收纳,依赖高频预测推理与实时控制部署能力。


    https://mp.weixin.qq.com/s/73-7shonpfBBWqsTposzsw

  4. 情境学习(In-context Learning):仅凭一段人类演示视频,无需参数更新或重训,机器人即可推断操作过程并迁移至新物体和未见任务组合。

决定未来的能力上限

过去两年,具身智能竞争聚焦于「颈部以下」(本体、关节、灵巧手等)。随着硬件门槛降低,竞争重心正转向「颈部以上」的「大脑」:跨本体、跨任务、跨场景的复用能力,以及在真实物理世界中稳定完成任务并自我进化的能力。

蚂蚁灵波的回答是:不在他人地基上打补丁,而是重新奠基,将物理因果从预训练第一步浇筑进去。

  • 「通用嫁接」:承接今天。站在多模态大模型肩上,成熟可用,是当前最易规模化落地的路线。
  • 「具身原生」:决定明天。不借用现成底座,从第一步起为物理世界重新训练,天花板更高。

2026 年 1 月,LingBot-VA 第一代开源时,「视频预测与动作生成的统一」尚属前沿。如今,英伟达 Cosmos、Google Gemini Robotics、Physical Intelligence 等顶级团队均在探索世界模型与 VLA 的结合,行业逐渐收敛于「视频级物理理解与连续动作生成紧密连接」的判断。

LingBot-VA 2.0 正是在此路径上迈出关键一步。

蚂蚁灵波首席科学家沈宇军博士在智源大会上指出,基座模型底层框架包含三层:

  1. 底层:空间感知(视觉/触觉),获取原始物理信号。
  2. 中层:动作执行,落实具体「动作」以与环境交互。
  3. 顶层:环境反馈,探索虚拟训练场与高效仿真评测。

LingBot-VA 2.0 的「具身原生」路径从源头回应了这一挑战,通过围绕「物理世界因果交互」设计数据、目标与架构,深化模型对物理规律的掌握,提升泛化天花板。

具身智能的「大脑」需满足硬性条件:高频闭环控制、少量数据快速适配、物理变化下稳定、部署反馈沉淀能力。这些条件推动模型从「通用迁移」走向「具身原生」。

LingBot-VA 2.0 是这条漫长道路的新起点。正如语言模型历经数年才让机器「读懂」文字,智能走进物理世界的进程,才刚刚翻开第一页。

标签:

责任编辑:百科