robomimic_mg

  • Tanım :

Robomimic makinesi tarafından oluşturulan veri kümeleri, yoğun bir ödülle eğitilmiş bir Soft Actor Critic ajanı kullanılarak toplandı. Her veri kümesi, aracının tekrar oynatma arabelleğinden oluşur.

Her görevin iki versiyonu vardır: biri düşük boyutlu gözlemleri ( low_dim ) ve diğeri görüntüleri ( image ) içerir.

Veri kümeleri, adımları ve bölümleri temsil etmek için RLDS formatını takip eder.

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (varsayılan yapılandırma)

  • İndirme boyutu : 18.04 GiB

  • Veri kümesi boyutu : 2.73 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölünmeler :

Bölmek Örnekler
'train' 1.500
  • Özellik yapısı : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
bölüm_id Tensör sicim
ufuk Tensör int32
adımlar Veri kümesi
adımlar/eylem Tensör (7,) kayan nokta64
adımlar/indirim Tensör int32
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/agentview_image Resim (84, 84, 3) uint8
adımlar/gözlem/nesne Tensör (10,) kayan nokta64
adımlar/gözlem/robot0_eef_pos Tensör (3,) kayan nokta64 Uç efektör konumu
adımlar/gözlem/robot0_eef_quat Tensör (4,) kayan nokta64 Uç efektör yönelimi
adımlar/gözlem/robot0_eef_vel_ang Tensör (3,) kayan nokta64 Uç efektör açısal hızı
adımlar/gözlem/robot0_eef_vel_lin Tensör (3,) kayan nokta64 Uç efektör kartezyen hızı
adımlar/gözlem/robot0_eye_in_hand_image Resim (84, 84, 3) uint8
adımlar/gözlem/robot0_gripper_qpos Tensör (2,) kayan nokta64 Tutucu konumu
adımlar/gözlem/robot0_gripper_qvel Tensör (2,) kayan nokta64 Tutucu hızı
adımlar/gözlem/robot0_joint_pos Tensör (7,) kayan nokta64 7DOF eklem pozisyonları
adımlar/gözlem/robot0_joint_pos_cos Tensör (7,) kayan nokta64
adımlar/gözlem/robot0_joint_pos_sin Tensör (7,) kayan nokta64
adımlar/gözlem/robot0_joint_vel Tensör (7,) kayan nokta64 7DOF eklem hızları
adımlar/ödül Tensör kayan nokta64
adımlar/durumlar Tensör (32,) kayan nokta64

robomimic_mg/lift_mg_low_dim

  • İndirme boyutu : 302.25 MiB

  • Veri kümesi boyutu : 195.10 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Yalnızca shuffle_files=False (train) olduğunda

  • Bölünmeler :

Bölmek Örnekler
'train' 1.500
  • Özellik yapısı : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
bölüm_id Tensör sicim
ufuk Tensör int32
adımlar Veri kümesi
adımlar/eylem Tensör (7,) kayan nokta64
adımlar/indirim Tensör int32
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/nesne Tensör (10,) kayan nokta64
adımlar/gözlem/robot0_eef_pos Tensör (3,) kayan nokta64 Uç efektör konumu
adımlar/gözlem/robot0_eef_quat Tensör (4,) kayan nokta64 Uç efektör yönelimi
adımlar/gözlem/robot0_eef_vel_ang Tensör (3,) kayan nokta64 Uç efektör açısal hızı
adımlar/gözlem/robot0_eef_vel_lin Tensör (3,) kayan nokta64 Uç efektör kartezyen hızı
adımlar/gözlem/robot0_gripper_qpos Tensör (2,) kayan nokta64 Tutucu konumu
adımlar/gözlem/robot0_gripper_qvel Tensör (2,) kayan nokta64 Tutucu hızı
adımlar/gözlem/robot0_joint_pos Tensör (7,) kayan nokta64 7DOF eklem pozisyonları
adımlar/gözlem/robot0_joint_pos_cos Tensör (7,) kayan nokta64
adımlar/gözlem/robot0_joint_pos_sin Tensör (7,) kayan nokta64
adımlar/gözlem/robot0_joint_vel Tensör (7,) kayan nokta64 7DOF eklem hızları
adımlar/ödül Tensör kayan nokta64
adımlar/durumlar Tensör (32,) kayan nokta64

robomimic_mg/can_mg_image

  • İndirme boyutu : 47.14 GiB

  • Veri kümesi boyutu : 11.15 GiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölünmeler :

Bölmek Örnekler
'train' 3.900
  • Özellik yapısı : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
bölüm_id Tensör sicim
ufuk Tensör int32
adımlar Veri kümesi
adımlar/eylem Tensör (7,) kayan nokta64
adımlar/indirim Tensör int32
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/agentview_image Resim (84, 84, 3) uint8
adımlar/gözlem/nesne Tensör (14,) kayan nokta64
adımlar/gözlem/robot0_eef_pos Tensör (3,) kayan nokta64 Uç efektör konumu
adımlar/gözlem/robot0_eef_quat Tensör (4,) kayan nokta64 Uç efektör yönelimi
adımlar/gözlem/robot0_eef_vel_ang Tensör (3,) kayan nokta64 Uç efektör açısal hızı
adımlar/gözlem/robot0_eef_vel_lin Tensör (3,) kayan nokta64 Uç efektör kartezyen hızı
adımlar/gözlem/robot0_eye_in_hand_image Resim (84, 84, 3) uint8
adımlar/gözlem/robot0_gripper_qpos Tensör (2,) kayan nokta64 Tutucu konumu
adımlar/gözlem/robot0_gripper_qvel Tensör (2,) kayan nokta64 Tutucu hızı
adımlar/gözlem/robot0_joint_pos Tensör (7,) kayan nokta64 7DOF eklem pozisyonları
adımlar/gözlem/robot0_joint_pos_cos Tensör (7,) kayan nokta64
adımlar/gözlem/robot0_joint_pos_sin Tensör (7,) kayan nokta64
adımlar/gözlem/robot0_joint_vel Tensör (7,) kayan nokta64 7DOF eklem hızları
adımlar/ödül Tensör kayan nokta64
adımlar/durumlar Tensör (71,) kayan nokta64

robomimic_mg/can_mg_low_dim

  • İndirme boyutu : 1.01 GiB

  • Veri kümesi boyutu : 697.71 MiB

  • Otomatik önbelleğe alınmış ( belgeler ): Hayır

  • Bölünmeler :

Bölmek Örnekler
'train' 3.900
  • Özellik yapısı : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
bölüm_id Tensör sicim
ufuk Tensör int32
adımlar Veri kümesi
adımlar/eylem Tensör (7,) kayan nokta64
adımlar/indirim Tensör int32
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/nesne Tensör (14,) kayan nokta64
adımlar/gözlem/robot0_eef_pos Tensör (3,) kayan nokta64 Uç efektör konumu
adımlar/gözlem/robot0_eef_quat Tensör (4,) kayan nokta64 Uç efektör yönelimi
adımlar/gözlem/robot0_eef_vel_ang Tensör (3,) kayan nokta64 Uç efektör açısal hızı
adımlar/gözlem/robot0_eef_vel_lin Tensör (3,) kayan nokta64 Uç efektör kartezyen hızı
adımlar/gözlem/robot0_gripper_qpos Tensör (2,) kayan nokta64 Tutucu konumu
adımlar/gözlem/robot0_gripper_qvel Tensör (2,) kayan nokta64 Tutucu hızı
adımlar/gözlem/robot0_joint_pos Tensör (7,) kayan nokta64 7DOF eklem pozisyonları
adımlar/gözlem/robot0_joint_pos_cos Tensör (7,) kayan nokta64
adımlar/gözlem/robot0_joint_pos_sin Tensör (7,) kayan nokta64
adımlar/gözlem/robot0_joint_vel Tensör (7,) kayan nokta64 7DOF eklem hızları
adımlar/ödül Tensör kayan nokta64
adımlar/durumlar Tensör (71,) kayan nokta64