具身智能空间视觉死穴，终于被最新顶会彻底解决！

【导读】VLA 大模型看似强大，却被一个致命弱点扼住喉咙——相机稍微挪动几毫米，操作成功率就能暴跌一半。招商局先进技术研究院下属实验室提出新的移动数据范式，首次在真实机器人系统上证明：让相机动起来采集数据，就能以极低成本破解 VLA 的空间泛化瓶颈，且效果普适于多种主流架构。

近年来，VLA 模型已成为机器人操作领域最火热的研究方向。

无论是英伟达的 Gr00t 系列、Physical Intelligence 的 π 系列等模型都展现出了流畅准确的动作乃至复杂操作能力。

但有一个让所有从业者头疼的问题：这些模型极其「脆弱」。

当你把训练好的机器人从实验室 A 搬到实验室 B，甚至只是不小心碰了一下相机——画面里桌子的相对位置变了几个像素——模型的表现就可能瞬间崩溃。

这不是个别现象。

国内外多个团队的研究（斯坦福-谷歌联合研究项目 Genralization-Gap、同济-复旦等机构联合研究项目 LIBERO-Plus 等）已经得出一致结论：VLA 模型在标准评测中动辄 90%+ 的成功率，在相机视角轻微变化后可能直接跌落到 30% 以下。

为什么？

招商局先进技术研究院下属狮子山人工智能实验室研究团队（以下简称「研究团队」）在新论文中给出了精准诊断与解决方案：问题的根源是捷径学习（Shortcut Learning），而解决方案是混合动态数据采集策略（Hybrid Dynamic Data Collection）。

该论文已被 IROS 2026 接收。

论文地址：arxiv.org/abs/2607.02322

项目地址：306327680.github.io/LionRockMultiViewPaperWeb

三重「隐性耦合」：

VLA 不是在学空间关系，而是在背相对位置

研究团队识别出 VLA 模型普遍存在的三种捷径学习模式，这些模式本质上都是不同物体（Object）之间的相对位姿关系：

耦合一：相机-基座耦合（Camera-Base Coupling）

模型并没有真正学会「桌面上笔在哪里」，而是记住了例如「P 笔在画面右下角 1/4 处」的某些固定规律。

一旦相机位置变了，画面中的相对坐标全变了，模型立刻「失忆」。

这是所有从业者遇到的最普遍的问题：只要相机视角与训练数据集中的视角不同，任务成功率可以直接暴跌一半（从 85% 降低至 43%）。

耦合二：相机-物体耦合（Camera-Object Coupling）

模型依赖特定角度来识别物体。从不同角度看到的同一个物体，对模型来说可能是「两个完全不同的东西」。

耦合三：物体-位置耦合（Object-Position Coupling）

这是最隐蔽的一种——即使你用了多视角数据，如果笔和笔筒的相对位置始终固定，比如总是笔筒在笔的正右方 10cm，模型就会学到「往右边 10cm 的地方放」这个捷径，而非真正理解「放进笔筒」的语义。

以第三种耦合为例，研究团队设计了如下实验：针对「抓起笔放入笔筒」VLA 任务，在数据采集时故意保持笔筒在桌面上的位置固定不变。

训练后测试发现，当笔筒处于该固定位置时，执行任务成功率 95%；

仅将笔筒平移一个直径的距离，成功率就从 95% 暴跌到 72%。

这说明模型根本没有真正理解「把笔插进笔筒」，只是重复执行「往那个固定坐标移动」的操作。

这是VLA 的致命软肋：你以为它「看懂了」，其实它只是「记住了」。

「运动之眼」

一个以移动视角数据为核心的新数据范式

既然问题出在数据中的虚假相关性上，那就从数据入手——让相机获得各种视角的 VLA 数据，在不断的尝试与总结中，研究团队提出了层次化数据解耦策略（Hierarchical Data Decoupling），将数据采集分为三种相机配置：固定视角（Fixed View）、多固定视角（Multi-Fixed）与移动视角（Moving View）。

三种视角特征对比

为什么移动视角有效？

研究团队认为，移动视角相对于多固定视角的核心优势在于它在同等数据量下提供了更稠密、近似均匀的多视角采样。

当相机沿连续轨迹运动时，移动视角通过提供连续的视角变化，彻底打碎了三种耦合关系。

当相机在每一集数据中都沿着不同轨迹运动时，画面中的背景、物体观察角度、相对位置在帧与帧之间持续变化——模型再也无法依赖任何固定的视觉规律来「作弊」，只能老老实实学习真正的空间几何关系。

三种数据采集视角范围示意图

研究团队在真实机器人平台上实现了这一范式。

系统由两条机械臂协同工作：So-101 操作臂负责执行抓取任务并配备腕部相机采集操作视角，求之（Airbot）机械臂则搭载环境相机，在进行移动数据采集时充当 6 自由度「运动之眼」，以 0.05m/s 线速度沿轨迹连续运动（平均视角角速度 0.198 rad/s），从不断变化的角度观察操作过程。

所有数据以 30FPS 连续 MP4 视频格式录制，通过开源 LeRobot 数据采集管线完成采集。

双臂系统与六自由度多离散固定视角示意图

混合动态数据采集策略：

结合利用多种数据优势特点

研究团队经初步实验发现，如果单独使用移动视角数据会带来新的问题：

视觉输入方差过大，策略难以收敛（Gr00t 模型纯移动视角数据成功率仅 54.8%）；

另一方面纯多固定视角数据收敛性好（成功率 80.5%），而且也能提供一定的数据多样性。

于是最终解决方案是将多固定视角数据与移动视角数据按比例 1:k 混合，形成互补：

通过系统搜索，团队发现了在 Gr00t 模型上的最优配比（k = 3）取得了 89.0% 的最佳表现。

不同模型的最优比例有所差异，但是大多是以多固定视角数据为主，结合部分移动视角数据组成混合数据集。

混合视角数据主要解决相机位姿相关的耦合问题，针对其他耦合，研究团队还同时在数据采集中系统性地注入多维度多样性，确保任何两个物体的相对位姿无固定关系，从根本上消除了模型可以利用的虚假相关性。

「运动之眼」混合动态数据采集策略的

跨架构与跨任务普适性

研究团队将混合数据方案应用于 ACT、Diffusion Policy、π0 等主流 VLA 模型，发现所有架构都受益——各类模型综合性能最高提升 26.8%。

这证明空间泛化脆弱性和捷径学习是 VLA 的普遍特征，不是某个模型的个别缺陷，而混合数据方案是通用解法。

更令人兴奋的是，这项实验揭示了一种全新的能力组合方式：空间感知能力可以跨任务「借用」！

想象这样一个场景：你希望机器人能从任意角度抓取桌上的多个物体，但为每个物体都采集多视角数据成本太高。

本文的方法给出了一个巧妙的解法——只需要为一个「代表任务」（抓放笔）采集多视角混合数据，就能把这种空间感知能力「移植」到其他任务上。

具体而言，团队将常规的固定视角多物体抓取数据与等量的多视角采集的抓放笔数据混合训练，实验结果令人惊喜：仅用固定视角数据的基线模型成功率只有 43%，而注入等量多视角笔任务数据后，成功率直接跃升至 83%——相当于用一半的数据就达到了原本需要全量采集才能达到的效果。

这个发现意味着：模型从笔任务中学到的「如何理解不同视角下的空间关系」，被泛化到了从未见过的多物体抓取场景中。空间感知能力不再绑定于某个具体任务，而是成为一种可迁移的通用「视觉素养」。

多模型、复杂视角、多任务完成案例

总结与应用展望

「运动之眼」混合数据采集范式的核心贡献，可以归纳为三点：

一、问题诊断。

研究团队首次系统性地揭示了 VLA 模型普遍存在的三重隐性耦合。

正是这些被忽视的虚假相关性，导致了模型在新环境下的灾难性退化。

二、优雅解法。

只需让一台环境相机运动起来，配合最优比例的数据混合策略，就能在不修改任何模型结构的前提下，大幅提升空间泛化能力。

这一方法已在 ACT、Diffusion Policy、Pi0、Gr00t 等主流架构上得到验证，证明了其普适性。

三、能力迁移。

空间感知能力不是某个任务的专属属性，而是一种可以从简单任务「借用」到复杂任务的通用视觉素养。这为实际部署中降低数据采集成本开辟了一条全新路径。

当前工作聚焦于桌面级操作任务，但这一范式的想象空间远不止于此：

在家庭服务场景中，未来的家政机器人需要在不同家庭、不同光照、不同家具布局下完成抓取和整理。「运动之眼」范式让机器人无需在每个家庭重新采集数据，就能具备对新环境的适应能力。

在工业精密装配中，产线上的相机位置不可能每次都完美校准。混合数据采集策略可以让装配机器人容忍相机安装的微小偏差，降低部署精度要求。

在智能仓储分拣中，货物形态千变万化，传统方法需要为每种物品单独采集海量数据。借助跨任务迁移能力，只需为少量代表物品采集多视角数据，就能将空间感知能力快速迁移到新品类上。

随着主动视角规划、自动化数据标注与模型训练管线的深度融合，「运动之眼」有望从实验室走向真实世界，为产业应用级 VLA 数据采集提供新范式——让机器人真正摆脱固定视角的束缚，实现类人化的三维空间感知，加速通用机器人走进现实世界。

招商局先进技术研究院下属狮子山人工智能实验室：

让机器人真正适配现实

事实上，此次 IROS 2026 顶会论文收录，并非今年狮子山人工智能实验室的首次重磅突破。

今年 6 月初，实验室就在 ICRA 2026 官方 LeHome Challenge 机器人柔性衣物折叠赛事中斩获全球冠军，在全球顶尖高校与企业实验室的激烈角逐中脱颖而出。

IROS 与 ICRA 并称全球机器人领域两大旗舰顶会，短期内接连在两大会议拿出重磅成果，充分印证了该团队在具身智能领域的顶尖研发实力。

作为 VLA 视觉泛化与感知鲁棒性领域的原创技术突破，「运动之眼」范式与该团队此前夺冠的柔性操作技术将形成能力互补，构建起更完善的机器人操作技术体系。

该成果可广泛适配家庭柔性物品整理、工业精密装配、微小零件插接、智能仓储分拣等多元实景场景，适配真实环境动态、未知、多变的作业特性。

未来，随着主动视角采集、自动化数据标注与模型训练技术的深度融合，智能机器人将摆脱固定视角的技术束缚，真正实现类人化的三维空间感知与环境自适应能力，在家庭服务、工业智造等实景场景中完成更稳定、更可靠的自主操作，加速通用机器人产业化落地进程，让机器人真正「适配」现实，走进大众生活。

关于 IROS 2026

IROS 全称 IEEE/RSJ 国际智能机器人与系统会议，由 IEEE 机器人与自动化学会（RAS）与日本机器人学会（RSJ）联合创办，自 1988 年举办至今，已经成为国际公认的智能机器人、具身智能、视觉操作等方向最高学术平台。

会议采用严苛的双盲评审机制，不仅要求成果具备原创理论创新，更需通过真机实物验证，仅有同时满足完整系统设计、海量真实机器人实验、可复现量化指标的研究才能被收录，入选门槛极高。

尽管每年都能收到来各国顶尖团队的数千篇投稿，但数据显示，IROS 近年整体录用率约 45%。

2026 年投稿量创下历史新高，但最终录用率仅 36%，为近 15 年最低，竞争激烈程度堪称历年之最。

参考资料：狮子山人工智能实验室在全球具身智能大赛中拔得头筹