ICCV-2025 | 中科院自动化所NavMorph：自演化世界模型如何重塑具身导航的未来？

1. 从“路痴”到“活地图”：NavMorph如何让AI学会“认路”？

想象一下，你被蒙着眼睛带到一个完全陌生的城市，手里只有一张写着“穿过第二个红绿灯右转，看到蓝色招牌的咖啡馆后左转”的纸条。你需要一边摸索前进，一边不断修正脑海中对这个陌生环境的“地图”。这，就是视觉语言导航（VLN）任务给AI智能体出的难题。而传统的AI导航模型，就像一个只会死记硬背地图的“路痴”，一旦环境稍有变化，比如家具挪了位置、门关上了，或者光线变了，它就立刻“懵圈”，找不到北。

中科院自动化所团队在ICCV 2025上提出的NavMorph，就是为了解决这个核心痛点。它不再是一个静态的、学完就固化的模型，而是一个拥有“自演化”能力的世界模型。什么叫世界模型？简单说，就是AI在脑子里构建的一个关于环境如何运作的“模拟器”。这个模拟器能预测“如果我往前走三步，会看到什么？”、“如果我推开这扇门，房间的布局会怎样变化？”。NavMorph的创新在于，这个模拟器是活的，它能在实际导航过程中，根据实时看到的新景象，不断更新和优化自己脑内的“地图”和“物理规律”。

我打个更生活的比方。以前的方法，好比给你一本印刷精美的固定攻略（训练好的模型），你严格按照攻略走。NavMorph则像是一位经验丰富的探险家，他不仅带着攻略，手里还有一个可以随时涂改、标注的素描本（上下文演化记忆，CEM）。每走到一个新地方，他都会迅速把眼前的景象、空间关系画下来，补充到素描本里。下次再遇到类似场景，他甚至能预测拐角后可能有什么。这种“边走边学、边学边用”的能力，正是具身导航走向实用的关键一步。它让AI从遵循固定程序的机器，向能适应动态复杂环境的智能体迈进。

2. 拆解NavMorph：两大核心与一个“记忆外挂”

NavMorph的框架设计得非常巧妙，它主要由两个大脑（组件）和一个不断升级的“记忆外挂”构成。理解了这三部分，你就抓住了它的精髓。

2.1 世界感知导航器：实时构建“脑海地图”

这是NavMorph的“感知与推理”大脑。它的任务是把当前看到的图像（视觉）和听到的指令（语言）融合起来，并在一个压缩的、结构化的潜在空间里，推断出当前环境的状态。

具体是怎么做的呢？首先，视觉编码器会把摄像头拍到的RGB-D图像（包含颜色和深度信息）转换成一组高维特征。这就像我们把看到的景象，抽象成“左边有一张桌子，正前方三米处有一扇门”这样的语义概念。接着，一个递归模型开始工作。它会结合上一刻对环境的理解（“我刚才在客厅”）、上一刻执行的动作（“我向右转了一步”），以及当前时刻看到的新景象，来更新此刻对环境的整体认知状态。

这里最关键的一步是推断一个随机状态。这个状态可以理解为环境里那些不确定的、隐藏的变量。比如，虽然你看到门关着，但模型会推断门后房间的可能布局（这是不确定的）。这个推断过程，让模型不仅记录看到了什么，还能对未知部分进行合理猜测，为后续的规划打下基础。

2.2 预见行动规划器：在“脑海模拟器”中预演未来

这是NavMorph的“规划与决策”大脑。光知道自己在哪还不够，还得知道怎么去目的地。这个组件的作用，就是利用“世界感知导航器”构建的潜在状态，在脑海里进行“沙盘推演”。

它会在潜在空间里，模拟执行一系列未来的动作。比如，模型会基于当前状态，想象：“如果我向前走两步，我‘脑海地图’里的状态会变成什么样？我会‘看到’什么样的视觉特征？” 然后，再基于这个预测出的未来状态，去解码出应该执行的具体动作（如“前进0.5米”或“左转30度”）。

这个过程的核心是一个视觉解码器。它负责把预测的抽象潜在状态，重新“翻译”回具体的视觉特征。这可不是为了生成一张逼真的图片，而是为了确保预测的未来状态在语义上是连贯、合理的。通过不断对比“预测的未来视觉特征”和“实际执行动作后看到的真实视觉特征”，模型就能学会更准确的物理和空间规律，从而做出更合理的路径规划。这就像你在脑子里规划路线时，会想象沿途的标志物，NavMorph也在做类似的事情。

2.3 上下文演化记忆（CEM）：让AI拥有“情景记忆”

这是NavMorph最具革命性的部分，也是“自演化”能力的核心引擎。你可以把它想象成模型的一个“可擦写、可扩展的随身笔记本”。

传统的循环神经网络（如LSTM）也有记忆功能，但它更像是一种“肌肉记忆”，通过反向传播梯度来缓慢调整内部连接权重，改变记忆。这个过程计算量大，且不够灵活。NavMorph的CEM则完全不同。它采用了一种前馈迭代更新机制，维护一个显式的记忆库。

具体来说，CEM里存储着一系列在导航过程中提取的关键场景特征（也就是“素描本”里的关键画面）。当智能体进入一个新环境或看到新景象时，它会计算当前场景特征与记忆库中所有旧特征的相似度。然后，它用新的、更相关的特征，去动态地更新（覆盖）记忆库中最不相关或最旧的条目。

这样做的好处极其明显：

1. 快速适应：无需复杂的梯度计算，直接替换记忆条目，让模型能瞬间吸收新环境信息。
2. 保留精华：通过相似度筛选，确保记忆库里留下的都是最具代表性、最有用的场景信息，过滤掉冗余和噪声。
3. 计算高效：在测试（部署）时，这种更新方式比基于梯度的在线学习快得多，为实时导航提供了可能。

实测下来，基于CEM的自演化机制，在陌生环境中的导航成功率比基于LSTM的在线适应方法有显著提升，同时测试时的计算开销还降低了约一半。这绝对是工程上的一个巧妙设计。

3. 如何“喂养”与训练这个自演化模型？

要让NavMorph学会“认路”和“规划”，需要一套精心设计的训练目标和流程。这不仅仅是教它看图说话，更是教它理解空间、动作与视觉变化之间的因果关系。

3.1 训练目标：不止于模仿，更在于理解

NavMorph的训练包含两个核心目标：模仿学习和世界模型学习。

模仿学习相对直观，就是让模型学着去模仿专家（或数据集里）提供的成功路径。给定一条指令和起始点，模型需要预测出每一步的动作，尽可能接近专家走过的轨迹。这部分损失函数督促模型学会基本的“听指令，做动作”。

世界模型学习则是NavMorph的灵魂。它的目标函数是一个变分下界，里面包含了几个关键部分：

• 视觉重建损失：要求模型预测的未来状态，能通过解码器较好地重建出对应的视觉特征。这确保了模型“脑海想象”的画面是符合物理现实的。
• 动作预测损失：要求模型能根据历史状态，准确预测出下一个动作。这加强了状态与动作之间的关联。
• KL散度损失：这是潜在空间模型里的常见项，目的是让模型推断的“后验分布”（看到事实后的猜测）和预测的“先验分布”（根据规律做的预测）尽可能一致。这相当于让模型的“猜测”和“预测”保持逻辑自洽，防止它的“想象力”天马行空，脱离实际。

此外，论文还引入了一个基于**归一化动态时间规整（NDTW）**的正则化项。NDTW是衡量两条路径形状相似度的指标。加入这个正则化，是为了让模型预测的整个动作序列（轨迹）在时间节奏和空间形状上，都与理想的轨迹对齐，而不仅仅是每一步的动作匹配。这就像不仅要求你每一步踩对点，还要求你整个行走的节奏和路径弧度都优美准确。

3.2 工作模式：训练时“学规律”，测试时“长经验”

NavMorph在训练和测试（部署）时，工作模式有根本区别，这也是其“自演化”特性的体现。

在训练阶段，模型能看到一段完整轨迹的观测和动作。它的任务是利用这些数据，学习通用的环境动态规律和导航策略。此时，CEM虽然参与，但主要是学习如何有效地存储和检索信息。

到了测试阶段，情况就变了。智能体被扔进一个全新的、从未见过的环境，它没有预知，必须一边探索一边决策。这时，NavMorph的“自演化”模式才真正启动。模型在每一步：

1. 用世界感知导航器理解当前状态。
2. 用预见行动规划器规划下一步动作。
3. 最关键的一步：将当前步骤提取到的关键场景特征，通过CEM的更新机制，实时地存入或更新它的记忆库。

这意味着，随着导航的进行，这个智能体对这个特定测试环境的理解越来越深，它的“脑海地图”越来越精确。它不再是用一个固定的模型去套所有环境，而是在任务过程中，实时地为自己定制了一个针对当前环境的、越来越强大的导航模型。这种在线适应能力，是迈向鲁棒、实用具身智能的关键。

4. 实战表现：在复杂环境中碾压传统方法

论文在VLN领域两个公认的硬骨头数据集上进行了全面测试：R2R-CE和RxR-CE。这两个数据集都基于真实的3D室内扫描环境（Matterport3D），指令复杂，环境连续且充满障碍。

4.1 在R2R-CE数据集上的表现

R2R-CE的路径相对较短，但指令精确。NavMorph在这里展现了强大的适应能力。

在单目视觉设置下（智能体只有一个向前看的摄像头），NavMorph相比之前的先进模型VLN-3DFF，在“未见环境”测试集上的**成功率（SR）**提升了超过4%，**路径长度加权成功率（SPL）**也显著提高。SPL这个指标同时考虑了成功率和路径效率，它的提升说明NavMorph不仅更能找到路，还能找到更合理的路，而不是兜圈子。

在全景视觉设置下（智能体拥有360度视野），NavMorph同样表现出色，与那些专门为全景设计的方法（如ETPNav、HNR）相比也不落下风。这证明了其框架的通用性，不依赖于特定的视觉输入形式。

4.2 在RxR-CE数据集上的突破

RxR-CE数据集更具挑战性，它的指令更长、更详细（像一段小作文），而且环境更复杂，智能体更容易碰撞。

在这里，NavMorph的优势更加明显。在单目设置下，其成功率相比之前的最佳模型提升了4.1个百分点。更重要的是，在衡量路径与指令贴合度的NDTW和SDTW指标上，NavMorph取得了巨大领先。这意味着，NavMorph规划出的路径，不仅最终能到达目的地，而且整个行走过程更符合人类指令的描述（比如“沿着左边的墙走，经过沙发后右转”），而不是单纯地找最短路径。这体现了其世界模型在理解指令语义和空间关系方面的优越性。

为了更直观地对比，我们看下面这个简化的性能对比表格（以RxR-CE单目设置为例）：

注意：表格数据为示意，突出对比趋势。实际提升幅度请参考论文原文。

从表格可以清晰看出，即使去掉“自演化”能力（仅使用世界模型架构），NavMorph也能带来性能增益。而加上CEM实现的自演化后，各项指标得到了进一步飞跃。这充分证明了“世界模型”和“自演化记忆”二者结合的价值。

5. 深入分析：为什么NavMorph能成功？

光看结果不够，我们还得挖一挖它成功背后的原因。论文里详尽的消融实验给了我们答案。

5.1 世界模型每个部分都不可或缺

研究人员尝试移除了世界模型训练中的各个损失项，结果发现：

• 去掉视觉重建损失：模型预测的未来状态变得不靠谱，导致规划的路径变短且成功率下降。这说明，让模型学会“想象”出合理的未来视觉场景，对于保持对环境时空一致性的理解至关重要。
• 去掉动作预测损失：模型的动作决策能力下降。这印证了，通过对未来动作序列施加约束，能有效促进策略学习。
• 去掉KL散度损失：模型潜在空间的推断变得混乱，“后验”与“先验”不一致，导致整体性能滑坡。这保证了模型学习的潜在规律是自洽、稳定的。

这些实验说明，NavMorph的世界模型是一个精心平衡的系统，每个组件都在合力让AI学会一个连贯、可预测的环境模型。

5.2 CEM的记忆大小：不是越大越好

CEM这个“笔记本”到底该有多大？论文做了系统实验。他们发现，当记忆大小设置为1000条时，模型性能达到峰值。记忆太小（比如100），容量不足，存不下足够的关键信息，模型容易“遗忘”。记忆太大（比如5000），又会塞入大量冗余和噪声信息，在检索时干扰有效决策，相当于笔记本里乱涂乱画太多，找不到重点了。

这个“1000”的魔法数字，是在记忆容量和检索效率之间找到的一个最佳平衡点。它确保了模型既能保留足够多的场景上下文以应对复杂环境，又能快速找到相关信息，做出敏捷反应。

5.3 与在线适应方法的正面较量

有人可能会问：在测试时更新模型（在线适应），这对其他“老老实实”只用固定模型测试的方法公平吗？论文也探讨了这一点。首先，在线适应在现实机器人部署中是完全合理且必要的，因为现实世界就是动态变化的。其次，他们与另一种基于梯度更新的在线适应方法FSTTA进行了对比。

结果NavMorph完胜。原因在于，基于梯度的方法需要多次前向-反向传播来微调模型参数，计算慢，且容易在少量测试数据上过拟合。而NavMorph的CEM采用前馈更新，几乎是瞬间完成记忆刷新，效率极高，且更稳定。这就像一个是现场慢慢修改教科书（梯度更新），另一个是快速在便签上记下重点（CEM更新），在需要快速应对新环境的导航任务中，高下立判。

6. 从论文到现实：NavMorph的启示与挑战

读到这里，你可能会觉得NavMorph确实很酷，但它离真正的家庭服务机器人或者自动驾驶还有多远？它给我们指明了方向，也留下了需要翻越的山岭。

它带来的核心启示是“动态学习”和“记忆抽象”。未来的具身智能体绝不能只是一个装载了静态模型的“黑箱”。它必须像生物一样，具备在生命周期内持续学习、积累经验、并利用经验优化自身行为的能力。NavMorph的CEM提供了一种高效实现“情景记忆”的工程范式。同时，将高维的视觉流压缩到结构化的潜在空间进行推理和规划，是处理复杂、连续状态空间的必由之路，这比直接在像素层面操作要高效、鲁棒得多。

当然，挑战依然明显。论文也提到了未来的工作方向。一个关键点是奖励函数的设计。目前NavMorph主要依靠模仿学习（跟着专家轨迹学）和模型的内在一致性损失来训练。但在真实世界中，没有那么多完美的“专家轨迹”可供模仿。如何设计一个能让智能体自己探索、从试错中学习的奖励函数（比如“更快到达”、“更少碰撞”、“更省电”），是实现长期、复杂任务规划的关键。这需要融合强化学习的思想。

另一个挑战是模块化与通用性。NavMorph是一个相对完整的框架。如何将其中的世界模型、记忆模块、规划器设计成更标准化的“乐高积木”，让不同的研究者和开发者能够灵活组合，快速适配到不同的机器人平台或任务上（比如不仅是导航，还有抓取、交互等），是推动整个领域发展的关键。

在我个人看来，NavMorph最令人兴奋的一点，是它让AI智能体的“智能”开始有了点“生长”的味道。它不是出厂设置就定死的，而是在与环境的交互中，不断地重塑和优化自己的认知模型。这虽然离我们想象中的通用人工智能还有很远，但确实是朝着让机器更灵活、更适应复杂现实世界迈出的坚实一步。下次当你看到机器人卡在陌生的走廊里不知所措时，或许可以想想，如果它搭载了NavMorph这样的自演化世界模型，它可能正默默地更新着自己的“脑海地图”，几秒后，就能找到新的出路。