https://isaac-sim.github.io/IsaacLab/main/source/setup/installation/pip_installation.html
isaac sim & lab 설치는 위의 내용을 따라 하는 것을 추천

https://docs.isaacsim.omniverse.nvidia.com/latest/isaac_lab_tutorials/tutorial_policy_deployment.html#understanding-the-environment-parameter-file

여기의 예제를 따라 로봇 걷기 예제를 실행해 봤으나, 요구사항은 go2가 동작하는 것인데, 해당 예제는 없어서 직접 학습을 진행

./isaaclab.sh -p scripts/reinforcement_learning/rsl_rl/train.py --task Isaac-Velocity-Flat-H1-v0 --headless

h1을 학습하는 명령어가 다음과 같고

https://isaac-sim.github.io/IsaacLab/main/source/overview/environments.html

여기에 여러 환경이 존재하는데, 여기서 H1환경 대신 Go2환경으로 학습을 진행(학습을 눈으로 보기위해 headless는 제거)

./isaaclab.sh -p scripts/reinforcement_learning/rsl_rl/train.py --task Isaac-Velocity-Flat-Unitree-Go2-v0

약 300 iteration으로 학습을 진행, 영상은 25 iter쯤인데, 대략 200정도 지나면 잘 걸어다니기 시작함

학습이 완료되면

300 iter를 진행하니 아무래도 강화학습의 특성상 이쁜 걸음걸이는 아니지만 그래도 잘 걸어다니는 것을 확인

학습이 완료되면 모델 파일인 policy.pt 파일과 각종 설정값들이 들어간 yaml파일을 생성합니다.

이제 이 파일을 사용하기 위한 Policy Controller Class를 작성해야 하는데...

일단 Go2를 동작시키는 예제 코드가 없으므로 H1 코드를 최대한 활용해야 한다.

열심히 찾아보면 H1을 동작시키는 코드인 H1FlatTerrainPolicy 클래스는

exts/isaacsim.robot.policy.examples/isaacsim/robot/policy/examples/robots/h1.py 여기에 존재한다.

그리고 이 클래스를 이용해서 실제 sim에서 동작시키는 코드는

standalone_examples/api/isaacsim.robot.policy.examples/h1_standalone.py

이곳에 존재하고 실행하는 방법은

./python.sh standalone_examples/api/isaacsim.robot.policy.examples/h1_standalone.py --num-robots 5

이렇게 실행을 하면 h1로봇 5대가 걸어다니는 모습을 확인할 수 있다.

하지만 기존의 h1코드는 이전에 학습을 진행한 파일이 아닌 미리 학습된 policy와 env.yaml파일을 불러오기 때문에 해당 코드를 다음과 같이 수정

self.load_policy(
    # assets_root_path + "/Isaac/Samples/Policies/H1_Policies/h1_policy.pt",
    "/home/teamgrit/Documents/isaac/IsaacLab2/IsaacLab/logs/rsl_rl/h1_flat/2025-02-24_15-17-38/exported/policy.pt",
    # assets_root_path + "/Isaac/Samples/Policies/H1_Policies/h1_env.yaml",           
    "/home/teamgrit/Documents/isaac/IsaacLab2/IsaacLab/logs/rsl_rl/h1_flat/2025-02-24_15-17-38/params/env.yaml",
)

다행이도 똑같이 잘 동작하는 것을 확인

자 이제 대망의 go2를 적용시켜볼 차례 일단 위의 두 코드를 복사해서 h1이라는 이름을 전부다 go2로 변 경 go2를 불러오는 로직은 다음과 같습니다.

go2 = Go2FlatTerrainPolicy(
    prim_path="/World/Go2_" + str(i),
    name="Go2_" + str(i),
    usd_path=assets_root_path + "/Isaac/Robots/Unitree/Go2/go2.usd",
    position=np.array([0, i, 1.05]),
)

policy 파일과 env파일도 go2를 학습한 것으로 변경하고 실행했으나,

./python.sh standalone_examples/api/isaacsim.robot.policy.examples/go2_standalone.py --num-robots 5

에러가 발생

2025-02-25 00:57:01 [15,194ms] [Error] [omni.kit.app._impl] [py stderr]: Traceback (most recent call last):

2025-02-25 00:57:01 [15,194ms] [Error] [omni.kit.app._impl] [py stderr]: File "/home/teamgrit/Documents/isaac/isaac-sim/standalone_examples/api/isaacsim.robot.policy.examples/go2_standalone.py", line 54, in on_physics_step

2025-02-25 00:57:01 [15,194ms] [Error] [omni.kit.app._impl] [py stderr]: robot.forward(step_size, base_command)

2025-02-25 00:57:01 [15,194ms] [Error] [omni.kit.app._impl] [py stderr]: File "/home/teamgrit/Documents/isaac/isaac-sim/exts/isaacsim.robot.policy.examples/isaacsim/robot/policy/examples/robots/go2.py", line 109, in forward

2025-02-25 00:57:01 [15,194ms] [Error] [omni.kit.app._impl] [py stderr]: obs = self._compute_observation(command)

2025-02-25 00:57:01 [15,194ms] [Error] [omni.kit.app._impl] [py stderr]: obs[12:31] = current_joint_pos - self.default_pos

2025-02-25 00:57:01 [15,195ms] [Error] [omni.kit.app._impl] [py stderr]: ValueError: could not broadcast input array from shape (12,) into shape (19,)

obs관련해서 문제가 생기는 것으로 추측됨

def _compute_observation(self, command):
    """
    Compute the observation vector for the policy.

    Argument:
    command (np.ndarray) -- the robot command (v_x, v_y, w_z)

    Returns:
    np.ndarray -- The observation vector.

    """
    lin_vel_I = self.robot.get_linear_velocity()
    ang_vel_I = self.robot.get_angular_velocity()
    pos_IB, q_IB = self.robot.get_world_pose()

    R_IB = quat_to_rot_matrix(q_IB)
    R_BI = R_IB.transpose()
    lin_vel_b = np.matmul(R_BI, lin_vel_I)
    ang_vel_b = np.matmul(R_BI, ang_vel_I)
    gravity_b = np.matmul(R_BI, np.array([0.0, 0.0, -1.0]))

    obs = np.zeros(69)
    # Base lin vel
    obs[:3] = lin_vel_b
    # Base ang vel
    obs[3:6] = ang_vel_b
    # Gravity
    obs[6:9] = gravity_b
    # Command
    obs[9:12] = command
    # Joint states
    current_joint_pos = self.robot.get_joint_positions()
    current_joint_vel = self.robot.get_joint_velocities()
    obs[12:31] = current_joint_pos - self.default_pos
    obs[31:50] = current_joint_vel
    # Previous Action
    obs[50:69] = self._previous_action
    return obs

좀 살펴보니 당연하게도

로봇마다 정보다 다르므로 맞게 잘 설정해야됨 그런고로

h1의 env.yaml파일과 H1FlatTerrainPolicy를 살펴보고 어떻게 적용시키는지 파악
go2의 env.yaml파일을 바탕으로 obs 관련 로직을 수정

수정된 obs관련 로직

def __init__(
    ...
) -> None:
    ...
    self._action_scale = 0.12
    self._previous_action = np.zeros(12)
    self._policy_counter = 0
def _compute_observation(self, command):
    ...
    lin_vel_I = self.robot.get_linear_velocity()
    ang_vel_I = self.robot.get_angular_velocity()
    pos_IB, q_IB = self.robot.get_world_pose()

    R_IB = quat_to_rot_matrix(q_IB)
    R_BI = R_IB.transpose()
    lin_vel_b = np.matmul(R_BI, lin_vel_I)
    ang_vel_b = np.matmul(R_BI, ang_vel_I)
    gravity_b = np.matmul(R_BI, np.array([0.0, 0.0, -1.0]))

    obs = np.zeros(48)
    # Base lin vel
    obs[:3] = lin_vel_b
    # Base ang vel
    obs[3:6] = ang_vel_b
    # Gravity
    obs[6:9] = gravity_b
    # Command
    obs[9:12] = command
    # Joint states
    current_joint_pos = self.robot.get_joint_positions()
    current_joint_vel = self.robot.get_joint_velocities()
    obs[12:24] = current_joint_pos - self.default_pos
    obs[24:36] = current_joint_vel
    # Previous Action
    obs[36:48] = self._previous_action
    return obs

하지만 뭔가 잘 동작하지 않는다...

h1, spot 관련 실행 코드를 살펴보면 직접 설정 가능한 파라미터값은

self._action_scale, physics_dt, rendering_dt값인데 사실 값을 적당히 조절해서 어느정도 움직이는 수준을 만든거긴 하다.

평지에서 학습한 모델이라 정확히 예상된 몸체의 높이가 아니면 동작하지 않는 것 같기도 하다.

그래서 rough환경에서 학습한 모델로 변경해서 진행해보려고 한다.

Isaac-Velocity-Rough-Unitree-Go2-v0 (이 환경입니다.)

하지만 해당 환경의 obs값은 무려 배열의 크기가 235고 그 중에서 height_scan이라는 것의 길이가 187인데 이 값을 잘 넣는것이 관건인 것 같다. 근데 실제 로봇도 높이 데이터를 187개나 줄 수 있나??

https://isaac-sim.github.io/IsaacLab/main/_modules/isaaclab/envs/mdp/observations.html#height_scan

lab docs에 따르면, (height_scan) = (센서 높이) - (hit_point_z) - offset이라고 한다.

이러한 데이터 들을 어떻게 수집하는지 학습 과정에서는 어떻게 제공되고 있는지를 파악하기 위해 train코드와 play코드를 살펴봤고, 어찌 되었든 train에 task로 넘기는 환경? 들이 주요한 포인트라는 생각이 들어서 해당 환경들을 어떻게 구성해야 하는지 파악하는 시간을 가졌습니다.

gym.register(
    id="Isaac-Velocity-Flat-Unitree-Go2-v0",
    entry_point="isaaclab.envs:ManagerBasedRLEnv",
    disable_env_checker=True,
    kwargs={
        "env_cfg_entry_point": f"{__name__}.flat_env_cfg:UnitreeGo2FlatEnvCfg",
        "rsl_rl_cfg_entry_point": f"{agents.__name__}.rsl_rl_ppo_cfg:UnitreeGo2FlatPPORunnerCfg",
        "skrl_cfg_entry_point": f"{agents.__name__}:skrl_flat_ppo_cfg.yaml",
    },
)

gym.register(
    id="Isaac-Velocity-Flat-Unitree-Go2-Play-v0",
    entry_point="isaaclab.envs:ManagerBasedRLEnv",
    disable_env_checker=True,
    kwargs={
        "env_cfg_entry_point": f"{__name__}.flat_env_cfg:UnitreeGo2FlatEnvCfg_PLAY",
        "rsl_rl_cfg_entry_point": f"{agents.__name__}.rsl_rl_ppo_cfg:UnitreeGo2FlatPPORunnerCfg",
        "skrl_cfg_entry_point": f"{agents.__name__}:skrl_flat_ppo_cfg.yaml",
    },
)

gym.register(
    id="Isaac-Velocity-Rough-Unitree-Go2-v0",
    entry_point="isaaclab.envs:ManagerBasedRLEnv",
    disable_env_checker=True,
    kwargs={
        "env_cfg_entry_point": f"{__name__}.rough_env_cfg:UnitreeGo2RoughEnvCfg",
        "rsl_rl_cfg_entry_point": f"{agents.__name__}.rsl_rl_ppo_cfg:UnitreeGo2RoughPPORunnerCfg",
        "skrl_cfg_entry_point": f"{agents.__name__}:skrl_rough_ppo_cfg.yaml",
    },
)

gym.register(
    id="Isaac-Velocity-Rough-Unitree-Go2-Play-v0",
    entry_point="isaaclab.envs:ManagerBasedRLEnv",
    disable_env_checker=True,
    kwargs={
        "env_cfg_entry_point": f"{__name__}.rough_env_cfg:UnitreeGo2RoughEnvCfg_PLAY",
        "rsl_rl_cfg_entry_point": f"{agents.__name__}.rsl_rl_ppo_cfg:UnitreeGo2RoughPPORunnerCfg",
        "skrl_cfg_entry_point": f"{agents.__name__}:skrl_rough_ppo_cfg.yaml",
    },
)

아까 위에서 사용했던 환경을 여기서 register를 한다는 것을 알 수 있었고, lab에서 환경 설정을 gymnasium을 이용해 구성한다는 사실을 알게되었습니다.

https://gymnasium.farama.org/api/registry/ gymnasium 문서를 찾아보면 register는 다음과 같이 구성이 되는데, 이걸 잘 입맛에 맞게 조절하면 원하는 형태로 로봇을 학습 시킬 수 있지 않을까 부푼 기대감을 품어봅니다.

obs 구성은 ObervationsCfg 클래스에서 진행됩니다.

Community

Community