日冕研究 加入我们
联系我们
← 返回研究

世界奖励模型：真实世界强化学习的规模化路径

技术报告日冕研究团队

为什么真机 RL 很难从一个任务走向通用？

当前小模型在客户现场进行真机强化学习训练时，通常依赖“现场采集数据 + 训练 Reward Model + 专家轨迹 warm-up + 真机 rollout 迭代”的流程。这个流程的优势是直接、可控、贴近真实任务，但它的能力边界也很清楚：模型通常只熟悉当前任务、当前相机、当前物体摆放方式和当前机器人形态。

Figure 1. 真实世界强化学习中的关键挑战

Figure 1. 真实世界强化学习中的关键挑战

例如，在“将物体放入指定区域”的任务中，模型可能在固定光照、固定桌面和固定物体位置下表现良好，但当客户现场的背景发生变化、物体姿态改变，或相机视角略有偏移时，Reward Model 对任务完成状态的判断可能变得不稳定，Policy Model 的动作也可能随之偏离目标。这说明，Reward Model 和 Policy Model 都需要具备可靠的泛化能力。其中，Reward Model 的稳定性尤为关键：即使初始 Policy Model 对环境变化较为敏感，只要 Reward Model 仍能准确判断任务进度和完成状态，就可以为现场真机 RL 提供可靠反馈，并通过持续训练逐步提升 Policy Model 的适应性与泛化能力。

我们把现有流程中的主要挑战归纳为三个方面。

  • 跨任务迁移成本高：每增加一个新任务，往往都要重新采集成功/失败样本、重新训练或微调 Reward Model，并重新准备专家轨迹用于 warm-up。
  • 跨场景泛化能力弱：短时间现场采集的数据分布较窄，光照、背景、物体位置、相机视角和遮挡情况覆盖不足，模型容易记住“采集环境”，而不是真正理解“任务完成状态”。
  • 真机采样成本高：rollout 依赖真实机器人执行。每次失败都可能带来人工接管、设备磨损、时间消耗和安全风险，无法像仿真一样大规模试错。

问题核心：我们需要降低现场数据采集和标注成本，减少真机试错次数，并提升模型在新任务、新场景、新机器人上的泛化能力。

系统设计

World Model（WM）为机器人训练提供了更通用的任务状态理解基础。通过在大规模多模态数据上学习物体关系、未来状态演化以及动作可能引起的环境变化，WM 能形成对物体、环境状态变化的理解，为后续的任务理解与机器人决策提供了统一的状态表征基础。但现有 WM 更擅长预测未来状态，对接触、受力和碰撞等物理交互的理解仍然有限，也难以直接支持跨任务的奖励判断和策略生成。

基于此我们提出我们的方案：整体系统以 World Model 作为统一底座，分别派生出面向奖励判断的 WRM 和面向策略生成的 WPM。

  • World Reward Model（WRM）： 将世界模型对状态演化、任务进展和物理交互的理解转化为奖励判断。
  • World Policy Model（WPM）：将这种世界理解转化为策略初始化能力，使机器人在面对新任务时能够从更接近可行解的动作起点开始探索。
Figure 2. 所提出的 WRM-WPM 框架概览

Figure 2. 所提出的 WRM-WPM 框架概览

WM → WRM

Figure 3. WRM 将世界模型表征转化为任务进度与物理交互奖励

Figure 3. WRM 将世界模型表征转化为任务进度与物理交互奖励

WRM （World Reward Model）在世界模型的基础状态预测能力之上，进一步把状态变化解析成可用于强化学习的任务反馈。它不需要输出复杂的技术指标，而是围绕真实任务训练中最关键的三类结果进行判断：成功、进行中、失败。

  • 成功，对应任务已经达到目标状态。此时 WRM 判断当前场景是否真正满足任务要求。成功判断可以直接转化为正向奖励，用于强化当前策略中的有效行为。
  • 失败，对应任务已经明显偏离目标，或者出现了难以继续恢复的状态。失败判断可以帮助系统及时终止低价值 rollout，减少真机试错成本，也为策略修正提供依据。
  • 进行中，是 WRM 从结果判断进一步走向过程价值建模的关键状态，WRM 首先需要判断当前状态是否仍然具有任务推进价值，例如机器人是否在接近有效操作区域，物体状态是否朝目标方向演化。

更进一步，WRM 可以利用 World Model 已经学习到的物理状态演化能力，对任务过程中的物理属性进行建模，从连续状态变化中理解动作与物体响应之间的因果关系：机器人施加的作用是否真正带来了有效物体变化，接触过程是否稳定，力和位移是否具有一致性等。

通过这种方式，WRM 可以把 World Model 对接触、碰撞、受力、位移和空间关系的隐式理解，进一步转化为可用于强化学习的物理交互价值判断。WRM 将 World Model 对状态演化、任务进展和物理交互的理解，组织成可用于机器人训练的奖励信号。这样的奖励反馈为 WPM 的策略学习提供了更明确的监督方向。

WM → WPM

Figure 4. WPM 将世界模型先验转化为可用的初始策略能力

Figure 4. WPM 将世界模型先验转化为可用的初始策略能力

人类在学习一个新任务时，并不是从完全随机的动作开始探索。即使第一次听到一个新的语言指令，人也已经具备对世界的基本理解：知道物体会被推动、拿起、放下，知道接触会产生作用，知道碰撞、受力和空间位置变化会影响任务结果，也具备基本的运动控制能力。因此，人可以在没有专门训练过某个具体任务的情况下，先做出一个相对合理的尝试；如果第一次没有成功，再通过观察结果、调整动作和反复试错逐步完成任务。这个过程本质上就是一种基于已有物理常识和动作能力的强化学习过程。

WPM（World Policy Model） 要提供的正是这种底层能力。它不是为每一个新任务重新从零训练一个策略，而是基于 World Model 已经学习到的动力学规律和物理交互经验，预训练出一个具备初始任务执行能力的策略模型。给定任务描述后，WPM 可以先生成一段较为合理的动作尝试，使机器人不再依赖随机探索进入任务，而是能够基于对接触、受力、物理一致性和物体状态变化的通用理解，形成更符合物理交互规律的初始执行策略。

这种预训练能力对于真机 RL 尤其重要。真实机器人上的随机试错成本很高，失败动作可能带来无效交互、硬件磨损，甚至安全风险。如果 WPM 能够在部署初期就完成一部分任务，或者至少把机器人带到更接近成功的状态，后续训练就可以集中在关键失败点和精细调整阶段，而不是消耗大量时间学习最基础的动作规律。

WRM + WPM → Real-world RL

Figure 5. 融合 WRM、WPM 与优先级人类干预的真实世界强化学习训练流程

Figure 5. 融合 WRM、WPM 与优先级人类干预的真实世界强化学习训练流程

在完成 WRM 和 WPM 的预训练后，系统可以进入真实机器人部署阶段。云端保留通用的 WRM 和 WPM 能力，其中 WPM 进一步蒸馏或适配为可部署的小模型，在不同机器人、不同任务上形成对应的任务策略，例如 WPM-1、WPM-2 到 WPM-N。每个小模型并不需要从随机探索开始，而是继承 WPM 的基础执行能力，在真机上先完成初步任务尝试，整体训练范式如下：

  1. 云端通用模型基座：云端维护通用 WRM 和 WPM。WPM 提供任务执行初始化能力，WRM 提供任务结果判断和奖励反馈能力，云控中心进一步根据任务情况，判断是否需要终止或请求人工接管。三者共同构成真机 RL 的训练中枢。
  2. WPM 蒸馏为端侧小模型并部署到多任务场景：针对不同客户现场、不同机器人和不同任务，WPM 可以被蒸馏或轻量化为多个任务小模型。每个小模型部署到真实机器人上，先具备一定的初始执行能力，并在对应任务中持续产生真实交互数据。
  3. 真机 rollout 与 WRM 奖励判断：部署后的 WPM 小模型直接与真实环境交互，按照任务描述生成动作并执行；同时，WRM 判断当前任务处于成功、进行中还是失败状态，并给出对应的奖励反馈。
  4. 异常归因与接管决策：当 WRM 判断任务失败或出现异常时，系统会进一步判断失败原因。如果出现碰撞、撞上障碍物等严重异常，当前 rollout 可以直接终止，以减少真机时间消耗和设备风险；如果只是轻微偏离、姿态偏差或卡在某个任务阶段，系统会向云控中心发送接管请求。接管请求中包含当前 reward 数值、任务阶段、失败原因和异常类型，并根据接管价值和任务优先级进行排序，自动识别出“哪台机器当前最有价值、最接近成功，最需要人介入”，使有限的人工资源接管高优先级的任务，形成人在环的训练真机RL训练范式。
Figure 6. 多机器人监控与优先级人类干预交互界面

Figure 6. 多机器人监控与优先级人类干预交互界面

  1. 数据回流形成持续优化闭环：来自多台机器人、多项任务的成功、进行中、失败、异常和人工接管数据会持续回流到云端。其中，奖励标注交互数据用于提升 WRM 的任务判断和奖励反馈能力；真实交互序列用于更新 WPM 或端侧 Policy Model；接管轨迹、失败归因和优先级标签则用于增强异常处理和接管决策能力

通过这种方式，真机 RL 不再是每个任务单独采集、单独标注、单独训练的低效流程，而是变成一种大规模并行的真实世界训练范式。WPM 负责让机器人一开始就具备可用的执行能力，WRM 负责在真实交互中持续提供奖励监督，人工只在关键失败点进行少量接管，最终让系统在真实场景中不断积累数据、修正策略并提升任务完成能力。

实验设计与结果

为验证所提出的 WRM 与 WPM 在真实机器人操作场景中的有效性与实用性，我们将其部署于真机系统，并在五类具有代表性的操作任务上开展实验，包括盖盒子、插插座、放置芯片、IMU 上下料和夹取砝码。上述任务涵盖对齐、接触、插入、搬运与夹取等典型操作能力，可用于综合评估模型在任务完成状态判断、物理交互理解及策略执行方面的性能。

实验结果表明，WPM 能够为机器人提供有效的初始策略执行能力，WRM 则通过对任务进度与真实交互质量进行稳定评估，为真机训练提供可靠的奖励信号，使机器人在无需人工设计复杂奖励函数的前提下，完成盖盒、插接、放置、上下料和夹取等多类操作任务。

我们即将开源模型代码，并同步发布相关论文与完整技术细节。我们坚信：机器人真机学习迈向持续泛化的下一阶段，不能再依赖为不同任务分别设计复杂奖励函数并训练多套策略模型，而需要由可迁移的初始策略、鲁棒的奖励判断与来自真实环境的持续反馈共同支撑。WRM 与 WPM 只是一个开始，它们为可扩展、可持续进化的真机强化学习奠定了基础。

引用

如果在研究或工程中使用本工作，请引用如下：

@article{wrm2026worldrewardmodel,
  author  = {日冕研究团队 (RimBot Research Team)},
  title   = {世界奖励模型：真实世界强化学习的规模化路径},
  journal = {日冕技术报告},
  year    = {2026},
  note    = {基于世界模型的真实世界强化学习奖励与策略框架}
}