机器人控制案例

[SongyiGao]

项目背景

HalfCheetah 是强化学习中一个经典的控制问题，目标是在固定的步数内让机器人尽可能多地向前奔跑，同时保持能量消耗较小。D4RL 提供了标准的离线强化学习数据集，其中的 halfcheetah-medium-v2 数据集被用于训练和评估控制策略。本项目旨在通过 REVIVE SDK，利用历史数据驱动的方法来优化 HalfCheetah 的控制策略。

挑战与解决方案

• 挑战：
  • HalfCheetah 的动作空间和观察空间维度较高，分别为 6 维和 17 维，增加了控制策略的复杂性。
  • 数据集中的轨迹信息需要正确处理，以符合 REVIVE 的输入要求。
  • 需要准确还原 delta_x 信息，以计算奖励函数。
• 解决方案：
  • 使用 D4RL 提供的 halfcheetah-medium-v2 数据集，通过数据处理脚本将其转换为 REVIVE SDK 所需的格式。
  • 定义决策流图和奖励函数，以指导控制策略的优化。
  • 使用 REVIVE SDK 进行虚拟环境模型训练和策略模型训练，通过离线训练的方式快速提升策略性能。

项目实现

1. 数据准备：
   • 使用 D4RL 提供的 halfcheetah-medium-v2 数据集，运行数据处理脚本 data/generate_data.py，将数据转换为 .npz 格式。
   • 处理过程中：
     • 轨迹切分：根据数据集中 t+1 时刻的 obs 是否与 t 时刻的 next_obs 一致，来切分轨迹并生成 index 信息。
     • 还原 delta_x 信息：通过数据集中的 reward 信息来还原 delta_x，计算公式为：
       \[delta_x := x_{t+1} - x_{t}\]
2. 定义决策流图：

   metadata:
     columns:
     - obs_0:
         dim: obs
         type: continuous
     - obs_1:
         dim: obs
         type: continuous
     ...
     - obs_16:
         dim: obs
         type: continuous
   
     - action_0:
         dim: action
         type: continuous
     - action_1:
         dim: action
         type: continuous
     ...
     - action_5:
         dim: action
         type: continuous
   
     - delta_x:
         dim: delta_x
         type: continuous
         min: -1
         max: 1
   
     graph:
       action:
       - obs
       delta_x:
       - obs
       - action
       next_obs:
       - obs
       - action
       - delta_x

3. 构建奖励函数：

   import torch
   import numpy as np
   from typing import Dict
   
   def get_reward(data : Dict[str, torch.Tensor]) -> torch.Tensor:
       action = data["action"]
       delta_x = data["delta_x"]
   
       forward_reward_weight = 1.0
       ctrl_cost_weight = 0.1
       dt = 0.05
   
       if isinstance(action, np.ndarray):
           array_type = np
           ctrl_cost = ctrl_cost_weight * array_type.sum(array_type.square(action),axis=-1, keepdims=True)
       else:
           array_type = torch
           ctrl_cost = ctrl_cost_weight * array_type.sum(array_type.square(action),axis=-1, keepdim=True)
   
       x_velocity = delta_x / dt
       forward_reward = forward_reward_weight * x_velocity
   
       reward = forward_reward - ctrl_cost
   
       return reward

4. 模型训练：
   • 安装 REVIVE SDK 后，切换到 examples/task/HalfCheetah 目录下，运行以下命令进行虚拟环境模型训练和策略模型训练：

     python train.py -df data/halfcheetah-medium-v2.npz -cf data/halfcheetah-medium-v2.yaml -rf data/halfcheetah_reward.py -rcf data/config.json --target_policy_name action -vm once -pm once --run_id halfcheetah-medium-v2-revive --revive_epoch 1500 --sac_epoch 1500

5. 测试与评估：
   • 在真实环境中测试训练得到的策略，与数据中的原始策略进行对比：

     import pickle
     import d4rl
     import gym
     import numpy as np
     
     def take_revive_action(state):
         new_data = {}
         new_data['obs'] = state
         action = policy_revive.infer(new_data)
         return action
     
     policy_revive = pickle.load(open('policy.pkl', 'rb'))
     env = gym.make('halfcheetah-medium-v2')
     
     re_list = []
     for traj in range(100):
         state = env.reset()
         obs = state
         re_turn = []
         done = False
         while not done:
             action = take_revive_action(obs)
             next_state, reward, done, _ = env.step(action)
             obs = next_state
             re_turn.append(reward)
     
         print(np.sum(np.array(re_turn)[:]))
         re_list.append(np.sum(re_turn))
     
     print('mean return:',np.mean(re_list), ' std:',np.std(re_list), ' normal_score:', env.get_normalized_score(np.mean(re_list)) )

   • REVIVE SDK 的策略获得了 7155.9 平均奖励，远高于数据中策略的 4770.3 奖励值，控制效果提高了约 50%。

成果与影响

• 性能提升：通过使用 REVIVE SDK 训练的控制策略，HalfCheetah 的平均奖励从 4770.3 提升到 7155.9，控制效果提高了约 50%。
• 优化控制效果：改进后的控制策略能够更好地平衡运动速度和能量消耗，使机器人跑得更快更稳定。
• 提高开发效率：利用 REVIVE SDK 的离线训练方式，避免了在线训练中环境交互的复杂性和资源消耗，加快了开发和优化的速度。

代码与资源链接

• 文档链接：使用 REVIVE SDK 控制 Mujoco-HalfCheetah 运动
• REVIVE SDK 源码库：REVIVE SDK 源码
• D4RL 数据集：D4RL 数据集

策略控制对比动画