robomimic_mg

Description :

Les ensembles de données générés par la machine Robomimic ont été collectés à l'aide d'un agent Soft Actor Critic formé avec une récompense dense. Chaque ensemble de données est constitué du tampon de relecture de l'agent.

Chaque tâche a deux versions : une avec des observations de faible dimension ( low_dim ) et une avec des images ( image ).

Les ensembles de données suivent le format RLDS pour représenter les étapes et les épisodes.

Page d'accueil : https://arise-initiative.github.io/robomimic-web/
Code source : tfds.datasets.robomimic_mg.Builder
Versions :
- 1.0.0 (par défaut) : version initiale.
Clés supervisées (Voir doc as_supervised ) : None
Figure ( tfds.show_examples ) : non pris en charge.
Citation :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (configuration par défaut)

Taille du téléchargement : 18.04 GiB
Taille de l'ensemble de données : 2.73 GiB
Mise en cache automatique ( documentation ) : Non
Divisions :

Diviser	Exemples
`'train'`	1 500

Structure des fonctionnalités :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Documentation des fonctionnalités :

Fonctionnalité	Classe	Forme	Type D	Description
	FonctionnalitésDict
épisode_id	Tenseur		chaîne
horizon	Tenseur		int32
mesures	Ensemble de données
étapes/actions	Tenseur	(7,)	flotteur64
étapes/remise	Tenseur		int32
étapes/is_first	Tenseur		bouffon
étapes/est_dernier	Tenseur		bouffon
étapes/is_terminal	Tenseur		bouffon
étapes/observation	FonctionnalitésDict
étapes/observation/agentview_image	Image	(84, 84, 3)	uint8
étapes/observation/objet	Tenseur	(10,)	flotteur64
étapes/observation/robot0_eef_pos	Tenseur	(3,)	flotteur64	Position de l'effecteur final
étapes/observation/robot0_eef_quat	Tenseur	(4,)	flotteur64	Orientation de l'effecteur final
étapes/observation/robot0_eef_vel_ang	Tenseur	(3,)	flotteur64	Vitesse angulaire de l'effecteur final
étapes/observation/robot0_eef_vel_lin	Tenseur	(3,)	flotteur64	Vitesse cartésienne de l'effecteur final
étapes/observation/robot0_eye_in_hand_image	Image	(84, 84, 3)	uint8
étapes/observation/robot0_gripper_qpos	Tenseur	(2,)	flotteur64	Position de la pince
étapes/observation/robot0_gripper_qvel	Tenseur	(2,)	flotteur64	Vitesse de préhension
étapes/observation/robot0_joint_pos	Tenseur	(7,)	flotteur64	Positions communes 7DOF
étapes/observation/robot0_joint_pos_cos	Tenseur	(7,)	flotteur64
étapes/observation/robot0_joint_pos_sin	Tenseur	(7,)	flotteur64
étapes/observation/robot0_joint_vel	Tenseur	(7,)	flotteur64	Vitesses conjointes 7DOF
étapes/récompense	Tenseur		flotteur64
étapes/états	Tenseur	(32,)	flotteur64

Exemples ( tfds.as_dataframe ) :

robomimic_mg/lift_mg_low_dim

Taille du téléchargement : 302.25 MiB
Taille de l'ensemble de données : 195.10 MiB
Mise en cache automatique ( documentation ) : uniquement lorsque shuffle_files=False (train)
Divisions :

Diviser	Exemples
`'train'`	1 500

Structure des fonctionnalités :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Documentation des fonctionnalités :

Fonctionnalité	Classe	Forme	Type D	Description
	FonctionnalitésDict
épisode_id	Tenseur		chaîne
horizon	Tenseur		int32
mesures	Ensemble de données
étapes/actions	Tenseur	(7,)	flotteur64
étapes/remise	Tenseur		int32
étapes/is_first	Tenseur		bouffon
étapes/est_dernier	Tenseur		bouffon
étapes/is_terminal	Tenseur		bouffon
étapes/observation	FonctionnalitésDict
étapes/observation/objet	Tenseur	(10,)	flotteur64
étapes/observation/robot0_eef_pos	Tenseur	(3,)	flotteur64	Position de l'effecteur final
étapes/observation/robot0_eef_quat	Tenseur	(4,)	flotteur64	Orientation de l'effecteur final
étapes/observation/robot0_eef_vel_ang	Tenseur	(3,)	flotteur64	Vitesse angulaire de l'effecteur final
étapes/observation/robot0_eef_vel_lin	Tenseur	(3,)	flotteur64	Vitesse cartésienne de l'effecteur final
étapes/observation/robot0_gripper_qpos	Tenseur	(2,)	flotteur64	Position de la pince
étapes/observation/robot0_gripper_qvel	Tenseur	(2,)	flotteur64	Vitesse de préhension
étapes/observation/robot0_joint_pos	Tenseur	(7,)	flotteur64	Positions communes 7DOF
étapes/observation/robot0_joint_pos_cos	Tenseur	(7,)	flotteur64
étapes/observation/robot0_joint_pos_sin	Tenseur	(7,)	flotteur64
étapes/observation/robot0_joint_vel	Tenseur	(7,)	flotteur64	Vitesses conjointes 7DOF
étapes/récompense	Tenseur		flotteur64
étapes/états	Tenseur	(32,)	flotteur64

Exemples ( tfds.as_dataframe ) :

robomimic_mg/can_mg_image

Taille du téléchargement : 47.14 GiB
Taille de l'ensemble de données : 11.15 GiB
Mise en cache automatique ( documentation ) : Non
Divisions :

Diviser	Exemples
`'train'`	3 900

Structure des fonctionnalités :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Documentation des fonctionnalités :

Fonctionnalité	Classe	Forme	Type D	Description
	FonctionnalitésDict
épisode_id	Tenseur		chaîne
horizon	Tenseur		int32
mesures	Ensemble de données
étapes/actions	Tenseur	(7,)	flotteur64
étapes/remise	Tenseur		int32
étapes/is_first	Tenseur		bouffon
étapes/est_dernier	Tenseur		bouffon
étapes/is_terminal	Tenseur		bouffon
étapes/observation	FonctionnalitésDict
étapes/observation/agentview_image	Image	(84, 84, 3)	uint8
étapes/observation/objet	Tenseur	(14,)	flotteur64
étapes/observation/robot0_eef_pos	Tenseur	(3,)	flotteur64	Position de l'effecteur final
étapes/observation/robot0_eef_quat	Tenseur	(4,)	flotteur64	Orientation de l'effecteur final
étapes/observation/robot0_eef_vel_ang	Tenseur	(3,)	flotteur64	Vitesse angulaire de l'effecteur final
étapes/observation/robot0_eef_vel_lin	Tenseur	(3,)	flotteur64	Vitesse cartésienne de l'effecteur final
étapes/observation/robot0_eye_in_hand_image	Image	(84, 84, 3)	uint8
étapes/observation/robot0_gripper_qpos	Tenseur	(2,)	flotteur64	Position de la pince
étapes/observation/robot0_gripper_qvel	Tenseur	(2,)	flotteur64	Vitesse de préhension
étapes/observation/robot0_joint_pos	Tenseur	(7,)	flotteur64	Positions communes 7DOF
étapes/observation/robot0_joint_pos_cos	Tenseur	(7,)	flotteur64
étapes/observation/robot0_joint_pos_sin	Tenseur	(7,)	flotteur64
étapes/observation/robot0_joint_vel	Tenseur	(7,)	flotteur64	Vitesses conjointes 7DOF
étapes/récompense	Tenseur		flotteur64
étapes/états	Tenseur	(71,)	flotteur64

Exemples ( tfds.as_dataframe ) :

robomimic_mg/can_mg_low_dim

Taille du téléchargement : 1.01 GiB
Taille de l'ensemble de données : 697.71 MiB
Mise en cache automatique ( documentation ) : Non
Divisions :

Diviser	Exemples
`'train'`	3 900

Structure des fonctionnalités :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Documentation des fonctionnalités :

Fonctionnalité	Classe	Forme	Type D	Description
	FonctionnalitésDict
épisode_id	Tenseur		chaîne
horizon	Tenseur		int32
mesures	Ensemble de données
étapes/actions	Tenseur	(7,)	flotteur64
étapes/remise	Tenseur		int32
étapes/is_first	Tenseur		bouffon
étapes/est_dernier	Tenseur		bouffon
étapes/is_terminal	Tenseur		bouffon
étapes/observation	FonctionnalitésDict
étapes/observation/objet	Tenseur	(14,)	flotteur64
étapes/observation/robot0_eef_pos	Tenseur	(3,)	flotteur64	Position de l'effecteur final
étapes/observation/robot0_eef_quat	Tenseur	(4,)	flotteur64	Orientation de l'effecteur final
étapes/observation/robot0_eef_vel_ang	Tenseur	(3,)	flotteur64	Vitesse angulaire de l'effecteur final
étapes/observation/robot0_eef_vel_lin	Tenseur	(3,)	flotteur64	Vitesse cartésienne de l'effecteur final
étapes/observation/robot0_gripper_qpos	Tenseur	(2,)	flotteur64	Position de la pince
étapes/observation/robot0_gripper_qvel	Tenseur	(2,)	flotteur64	Vitesse de préhension
étapes/observation/robot0_joint_pos	Tenseur	(7,)	flotteur64	Positions communes 7DOF
étapes/observation/robot0_joint_pos_cos	Tenseur	(7,)	flotteur64
étapes/observation/robot0_joint_pos_sin	Tenseur	(7,)	flotteur64
étapes/observation/robot0_joint_vel	Tenseur	(7,)	flotteur64	Vitesses conjointes 7DOF
étapes/récompense	Tenseur		flotteur64
étapes/états	Tenseur	(71,)	flotteur64

Exemples ( tfds.as_dataframe ) :