CVPR 2026精选：HiF-VLA动作模型测评，以运动为中心实现边想边做

本文第一作者为西湖大学科研助理蔺明慧，通讯作者为阿里巴巴达摩院算法专家黄思腾和西湖大学人工智能系副主任王东林。所有作者均来自西湖大学机器智能实验室（MiLAB）和西湖机器人科技有限公司，团队工作 ReconVLA 近期获得 AAAI 2026 最佳论文奖。

具身智能要在真实世界中稳定执行任务，关键在于其处理长程、多步骤任务的能力。然而，当前主流的视觉-语言-动作模型大多仍停留在基于静态观测的动作模仿层面，对环境中动态变化的因果理解严重不足。一旦任务链条延长，模型极易因混淆因果而失效。传统引入时间维度的方法，如简单堆叠多帧图像，不仅引入了海量静态背景冗余，更直接导致推理延迟激增与显存占用暴涨，效率低下。

针对这一核心瓶颈，来自西湖大学、浙江大学、西湖机器人等机构的研究团队提出了全新框架HiF-VLA。其核心范式转向以“运动”为中心，摒弃冗余的像素处理，转而提取低维、紧凑的运动向量作为动态先验。通过一个创新的“联合专家”模块，模型能够同步完成未来视觉运动的预测与高精度动作序列的生成。

相比传统范式，HiF-VLA有效过滤了无关的视觉背景干扰。这不仅使其在极长的历史观测窗口下仍能维持恒定且极低的推理延迟，更重要的是，它赋予了机器人一种基于物理规律的直觉，实现了真正的边想边做。在CALVIN与LIBERO-LONG等长程任务基准测试中，其成功率显著超越了现有最优方法，为构建真正理解世界动态的世界动作模型开辟了新路径。

目前，该工作已被CVPR 2026接收，相关代码与资源已开源。

• 论文地址：HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
• 论文链接：https://arxiv.org/abs/2512.09928
• 项目主页：https://hifvla.github.io/
• 代码：https://github.com/OpenHelix-Team/HiF-VLA

01 研究动机：从「动作模仿」到「理解物理世界」

当前多数VLA模型本质上是高级的“动作模仿器”，它们将当前图像观测直接映射为动作指令。

这种模式在简单、短视距的任务中尚可应付，但面对需要多步因果推理的长程任务时，其局限性暴露无遗。根本原因在于模型缺乏对物理世界动态变化的深层理解。它无法记忆自身历史动作，也难以预测当前动作将引发的环境状态变迁，因此极易陷入因果混淆。

要突破这种“短视”局限，模型必须从“动作模仿”升级为“物理理解”。这正是世界动作模型的核心目标——智能体不仅要执行动作，更需在内部推演环境因自身行为而发生的变化。

如何赋予机器人这种“边想边做”的时空推理能力？直接输入历史与未来的图像帧会带来算力爆炸与背景噪声问题。HiF-VLA团队找到了更高效的切入点：运动。运动是物理世界动态演变最本质、最紧凑的表征。

02 核心方案：HiF-VLA的「三位一体」时空推理

HiF-VLA以运动为中心，构建了一个名为后见之明-洞察现在-先见之明的双向时空推理框架。

1. 后见之明：打破马尔可夫假设的「记忆锚点」

连贯的自我意识是高级推理的基础。HiF-VLA利用成熟的视频编解码技术，将历史帧压缩为低维、紧凑的运动动态先验。这相当于为机器人植入了高效的记忆中枢，使其无需处理冗长原始图像，就能精确感知“环境经历了何种运动变化”，为后续推理提供坚实的历史上下文。

2. 洞察现在与先见之明：走向WAM的「全知视角」

真正的智能需要兼顾当下与未来。HiF-VLA将这两种能力解耦并紧密整合：

• 洞察现在：深度解析当前语言指令与实时视觉观测，明确“当前环境状态与具体任务目标”。
• 预见未来：基于当前洞察，模型在输出动作的同时，会初步预测未来的运动趋势。这相当于在内部嵌入了一个轻量级物理模拟器，使机器人能够预演自身行为的可能后果。

3. 深度对齐：视觉与动作的协同预测

这是HiF-VLA最核心的创新——历史调制的联合专家模块。该模块从根本上改变了模型的生成范式，认为视觉与动作的割裂是阻碍物理理解的关键。因此，它执行双目标协同策略：

• 视觉运动预测 + 动作序列生成：在历史运动信息的动态调制下，该模块被强制要求同步输出对未来视觉运动的预测以及高精度动作序列。

这种设计至关重要：双目标联合对齐迫使模型不能仅记忆动作模式，而必须深入理解“执行此动作将如何改变物理世界的视觉表征”。

通过将“预测视觉变化”与“规划动作”深度绑定，HiF-VLA实现了真正的边想边做，使其动作生成基于对物理规律的直觉，而非简单的轨迹模仿。

03 实验结果

这套理论框架的实际效能如何？我们从几个关键维度进行审视。

Q1：HiF-VLA与现有的顶尖VLA模型相比如何？

HiF-VLA在多样化的短程与长程任务中均展现出强大性能。尤其在LIBERO-LONG与CALVIN ABC-D等长程任务评测中，其成功率显著优于现有最优方法。在真实世界长程任务测试中，也表现出更稳定、优越的任务完成能力。

Q2：HiF-VLA是否有效缓解了传统方法的视觉冗余和低效问题？

传统堆叠多帧图像的方法面临严峻挑战：峰值GPU显存飙升至63.6 GB，推理延迟暴增至229.5 ms。更严重的是，海量静态背景噪声干扰了模型，导致平均成功率不升反降。

HiF-VLA的解决方案则更为高效：将历史帧编码为低维运动向量。引入后见之明模块后，面对相同长度的历史窗口，峰值显存仅维持在31.4 GB，相较于基线模型几乎无额外负担，推理延迟也远低于传统方法。最关键的是，在剔除视觉冗余后，模型能更专注地理解物理运动，从而大幅提升了平均成功率。

Q3：随着时间跨度增加，HiF-VLA在推理时的可扩展性如何？

HiF-VLA成功打破了长序列计算瓶颈。实验表明，随着历史时间跨度增加，传统堆叠图像帧的方法会遭遇指数级计算延迟暴涨甚至显存溢出。而HiF-VLA凭借低维紧凑的运动特征，无论历史观测窗口多长，都能保持稳定且极低的推理延迟，展现出卓越的时间可扩展性。

Q4：HiF-VLA所谓的「边想边做」究竟是怎样的过程？

可视化结果提供了直观证据。在执行动作的同一时刻，HiF-VLA内部的联合专家模块已能精准预测出由红色箭头标识的未来视觉运动场。这证明模型并非盲目执行指令，而是真正实现了“边想边做”，能够清晰预判自身动作将引发的环境物理动态变化，展现出精准的物理直觉。

04 总结

HiF-VLA标志着从机械的“动作模仿”向理解物理规律的“世界动作模型”迈出了关键一步。它证明，机器人的动作生成应是对过去洞察与未来预判交织下的自然物理反馈，而非对指令的盲目响应。对于推动具身智能进入更复杂、更真实的物理世界，HiF-VLA提供了一个极具潜力与启发性的全新范式。

来源：互联网