robomimic_mg

  • 설명 :

Robomimic 기계 생성 데이터 세트는 조밀한 보상으로 훈련된 Soft Actor Critic 에이전트를 사용하여 수집되었습니다. 각 데이터 세트는 에이전트의 재생 버퍼로 구성됩니다.

각 작업에는 두 가지 버전이 있습니다. 하나는 저차원 관측값( low_dim )이고 다른 하나는 이미지( image )입니다.

데이터 세트는 RLDS 형식을 따라 단계와 에피소드를 나타냅니다.

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (기본 구성)

  • 다운로드 크기 : 18.04 GiB

  • 데이터세트 크기 : 2.73 GiB

  • 자동 캐시 ( 문서 ): 아니요

  • 분할 :

나뉘다 예
'train' 1,500
  • 기능 구조 : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
에피소드_ID 텐서 끈
수평선 텐서 정수32
단계 데이터세트
단계/작업 텐서 (7,) float64
걸음수/할인 텐서 정수32
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/관찰 특징Dict
단계/관찰/agentview_image 영상 (84, 84, 3) uint8
단계/관찰/객체 텐서 (10,) float64
단계/관찰/robot0_eef_pos 텐서 (3,) float64 엔드 이펙터 위치
단계/관찰/robot0_eef_quat 텐서 (4,) float64 엔드 이펙터 방향
단계/관찰/robot0_eef_vel_ang 텐서 (3,) float64 엔드 이펙터 각속도
단계/관찰/robot0_eef_vel_lin 텐서 (3,) float64 엔드 이펙터 데카르트 속도
단계/관찰/robot0_eye_in_hand_image 영상 (84, 84, 3) uint8
단계/관찰/robot0_gripper_qpos 텐서 (2,) float64 그리퍼 위치
단계/관찰/robot0_gripper_qvel 텐서 (2,) float64 그리퍼 속도
단계/관찰/robot0_joint_pos 텐서 (7,) float64 7DOF 관절 위치
단계/관찰/robot0_joint_pos_cos 텐서 (7,) float64
단계/관찰/robot0_joint_pos_sin 텐서 (7,) float64
단계/관찰/robot0_joint_vel 텐서 (7,) float64 7DOF 관절 속도
걸음수/보상 텐서 float64
단계/상태 텐서 (32,) float64

robomimic_mg/lift_mg_low_dim

  • 다운로드 크기 : 302.25 MiB

  • 데이터세트 크기 : 195.10 MiB

  • 자동 캐시 ( 문서 ): shuffle_files=False 인 경우에만(학습)

  • 분할 :

나뉘다 예
'train' 1,500
  • 기능 구조 : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
에피소드_ID 텐서 끈
수평선 텐서 정수32
단계 데이터세트
단계/작업 텐서 (7,) float64
걸음수/할인 텐서 정수32
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/관찰 특징Dict
단계/관찰/객체 텐서 (10,) float64
단계/관찰/robot0_eef_pos 텐서 (3,) float64 엔드 이펙터 위치
단계/관찰/robot0_eef_quat 텐서 (4,) float64 엔드 이펙터 방향
단계/관찰/robot0_eef_vel_ang 텐서 (3,) float64 엔드 이펙터 각속도
단계/관찰/robot0_eef_vel_lin 텐서 (3,) float64 엔드 이펙터 데카르트 속도
단계/관찰/robot0_gripper_qpos 텐서 (2,) float64 그리퍼 위치
단계/관찰/robot0_gripper_qvel 텐서 (2,) float64 그리퍼 속도
단계/관찰/robot0_joint_pos 텐서 (7,) float64 7DOF 관절 위치
단계/관찰/robot0_joint_pos_cos 텐서 (7,) float64
단계/관찰/robot0_joint_pos_sin 텐서 (7,) float64
단계/관찰/robot0_joint_vel 텐서 (7,) float64 7DOF 관절 속도
걸음수/보상 텐서 float64
단계/상태 텐서 (32,) float64

robomimic_mg/can_mg_image

  • 다운로드 크기 : 47.14 GiB

  • 데이터세트 크기 : 11.15 GiB

  • 자동 캐시 ( 문서 ): 아니요

  • 분할 :

나뉘다 예
'train' 3,900
  • 기능 구조 : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
에피소드_ID 텐서 끈
수평선 텐서 정수32
단계 데이터세트
단계/작업 텐서 (7,) float64
걸음수/할인 텐서 정수32
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/관찰 특징Dict
단계/관찰/agentview_image 영상 (84, 84, 3) uint8
단계/관찰/객체 텐서 (14,) float64
단계/관찰/robot0_eef_pos 텐서 (3,) float64 엔드 이펙터 위치
단계/관찰/robot0_eef_quat 텐서 (4,) float64 엔드 이펙터 방향
단계/관찰/robot0_eef_vel_ang 텐서 (3,) float64 엔드 이펙터 각속도
단계/관찰/robot0_eef_vel_lin 텐서 (3,) float64 엔드 이펙터 데카르트 속도
단계/관찰/robot0_eye_in_hand_image 영상 (84, 84, 3) uint8
단계/관찰/robot0_gripper_qpos 텐서 (2,) float64 그리퍼 위치
단계/관찰/robot0_gripper_qvel 텐서 (2,) float64 그리퍼 속도
단계/관찰/robot0_joint_pos 텐서 (7,) float64 7DOF 관절 위치
단계/관찰/robot0_joint_pos_cos 텐서 (7,) float64
단계/관찰/robot0_joint_pos_sin 텐서 (7,) float64
단계/관찰/robot0_joint_vel 텐서 (7,) float64 7DOF 관절 속도
걸음수/보상 텐서 float64
단계/상태 텐서 (71,) float64

robomimic_mg/can_mg_low_dim

  • 다운로드 크기 : 1.01 GiB

  • 데이터세트 크기 : 697.71 MiB

  • 자동 캐시 ( 문서 ): 아니요

  • 분할 :

나뉘다 예
'train' 3,900
  • 기능 구조 : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • 기능 문서 :
특징 수업 모양 Dtype 설명
특징Dict
에피소드_ID 텐서 끈
수평선 텐서 정수32
단계 데이터세트
단계/작업 텐서 (7,) float64
걸음수/할인 텐서 정수32
걸음수/is_first 텐서 부울
걸음수/is_last 텐서 부울
단계/is_terminal 텐서 부울
단계/관찰 특징Dict
단계/관찰/객체 텐서 (14,) float64
단계/관찰/robot0_eef_pos 텐서 (3,) float64 엔드 이펙터 위치
단계/관찰/robot0_eef_quat 텐서 (4,) float64 엔드 이펙터 방향
단계/관찰/robot0_eef_vel_ang 텐서 (3,) float64 엔드 이펙터 각속도
단계/관찰/robot0_eef_vel_lin 텐서 (3,) float64 엔드 이펙터 데카르트 속도
단계/관찰/robot0_gripper_qpos 텐서 (2,) float64 그리퍼 위치
단계/관찰/robot0_gripper_qvel 텐서 (2,) float64 그리퍼 속도
단계/관찰/robot0_joint_pos 텐서 (7,) float64 7DOF 관절 위치
단계/관찰/robot0_joint_pos_cos 텐서 (7,) float64
단계/관찰/robot0_joint_pos_sin 텐서 (7,) float64
단계/관찰/robot0_joint_vel 텐서 (7,) float64 7DOF 관절 속도
걸음수/보상 텐서 float64
단계/상태 텐서 (71,) float64