Skip to content

Bug: Motrix G1FlipTracking PPO 默认配置未学会完整后空翻,采用 MuJoCo 任务配置后可完成 #1595

Description

@wang-sm520

Summary

使用 Motrix 后端的原始 G1FlipTracking PPO 配置,1024 环境、seed=1,从头训练 30000 轮后,策略仍无法完成完整后空翻。训练正常结束,问题表现为策略在起跳后跟踪失败并提前终止。
随后保留 Motrix 物理后端,将动作缩放、奖励和观测归一化设置改为继承 MuJoCo 的 flip 任务配置,使用 1024 环境重新从头训练 10000 轮。在该次训练的原生 Motrix 回放中,已经观察到完整的起跳、后空翻、落地和恢复站立。

Area

motrix

Reproduction

uv run --no-sync train --algo ppo --task g1_flip_tracking --sim motrix
algo.num_envs=1024
algo.max_iterations=30000
algo.seed=1
algo.resume=false
algo.load_run=-1
training.device=cuda:0
training.no_play=true

Expected behavior

默认 G1FlipTracking PPO 配置应能够在 Motrix 中学会完整后空翻

Actual behavior

训练完成了全部 30000 轮,但最终 model_29999.pt 在原生 Motrix 回放中,于第 119 个控制步、约 2.38 秒提前终止。在play中放宽终止条件,跳起来之后摔倒

Environment

OS:Linux x86_64
Python:3.10
UniLab 基线:b4e6b58fe0861a435fd19c0f0206bd84f4427a9c,包含本地修改的工作区
Backend:motrixsim-core==0.8.2
RL runtime:unilab-rl==1.2.0、rsl-rl-lib==5.0.1
PyTorch:2.8.0+cu128
Hardware:i9-12900K、RTX 3090;Motrix 物理运行在 CPU,策略推理和 PPO 使用 GPU
Robot:G1 29 DoF
Motion:motions/g1/flip_360_001__A304.npz
Physics timestep:0.005 s
Control timestep:0.02 s

Logs and artifacts

https://github.com/user-attachments/assets/de6bdc3b-6735-4d88-b9c4-edff2d6e19fa这是motrix原始g1 flip tracking任务配置的训练效果

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't working

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions