robomimic_mg

Descrizione :

I set di dati generati dalla macchina Robomimic sono stati raccolti utilizzando un agente Soft Actor Critic addestrato con una densa ricompensa. Ogni set di dati è costituito dal buffer di riproduzione dell'agente.

Ogni attività ha due versioni: una con osservazioni a bassa dimensionalità ( low_dim ) e una con immagini ( image ).

I set di dati seguono il formato RLDS per rappresentare passaggi ed episodi.

Pagina iniziale : https://arise-initiative.github.io/robomimic-web/
Codice sorgente : tfds.datasets.robomimic_mg.Builder
Versioni :
- 1.0.0 (impostazione predefinita): versione iniziale.
Chiavi supervisionate (vedi il documento as_supervised ): None
Figura ( tfds.show_examples ): non supportato.
Citazione :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (configurazione predefinita)

Dimensione download : 18.04 GiB
Dimensione del set di dati : 2.73 GiB
Memorizzazione nella cache automatica ( documentazione ): No
Divide :

Diviso	Esempi
`'train'`	1.500

Struttura delle caratteristiche :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Documentazione delle funzionalità :

Caratteristica	Classe	Forma	Tipo D	Descrizione
	CaratteristicheDict
episodio_id	Tensore		corda
orizzonte	Tensore		int32
passi	Set di dati
passi/azione	Tensore	(7,)	float64
passi/sconto	Tensore		int32
passi/è_primo	Tensore		bool
passi/è_ultimo	Tensore		bool
passi/è_terminale	Tensore		bool
passi/osservazione	CaratteristicheDict
passaggi/osservazione/agentview_image	Immagine	(84, 84, 3)	uint8
passi/osservazione/oggetto	Tensore	(10,)	float64
passi/osservazione/robot0_eef_pos	Tensore	(3,)	float64	Posizione dell'effettore finale
passi/osservazione/robot0_eef_quat	Tensore	(4,)	float64	Orientamento dell'effettore finale
passi/osservazione/robot0_eef_vel_ang	Tensore	(3,)	float64	Velocità angolare dell'effettore finale
passi/osservazione/robot0_eef_vel_lin	Tensore	(3,)	float64	Velocità cartesiana dell'effettore finale
passi/osservazione/robot0_eye_in_hand_image	Immagine	(84, 84, 3)	uint8
passi/osservazione/robot0_gripper_qpos	Tensore	(2,)	float64	Posizione della pinza
passi/osservazione/robot0_gripper_qvel	Tensore	(2,)	float64	Velocità della pinza
passi/osservazione/robot0_joint_pos	Tensore	(7,)	float64	Posizioni congiunte 7DOF
passi/osservazione/robot0_joint_pos_cos	Tensore	(7,)	float64
passi/osservazione/robot0_joint_pos_sin	Tensore	(7,)	float64
passi/osservazione/robot0_joint_vel	Tensore	(7,)	float64	Velocità articolari 7DOF
passi/ricompensa	Tensore		float64
passi/stati	Tensore	(32,)	float64

Esempi ( tfds.as_dataframe ):

robomimic_mg/lift_mg_low_dim

Dimensione download : 302.25 MiB
Dimensione del set di dati : 195.10 MiB
Memorizzato automaticamente nella cache ( documentazione ): solo quando shuffle_files=False (train)
Divide :

Diviso	Esempi
`'train'`	1.500

Struttura delle caratteristiche :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Documentazione delle funzionalità :

Caratteristica	Classe	Forma	Tipo D	Descrizione
	CaratteristicheDict
episodio_id	Tensore		corda
orizzonte	Tensore		int32
passi	Set di dati
passi/azione	Tensore	(7,)	float64
passi/sconto	Tensore		int32
passi/è_primo	Tensore		bool
passi/è_ultimo	Tensore		bool
passi/è_terminale	Tensore		bool
passi/osservazione	CaratteristicheDict
passi/osservazione/oggetto	Tensore	(10,)	float64
passi/osservazione/robot0_eef_pos	Tensore	(3,)	float64	Posizione dell'effettore finale
passi/osservazione/robot0_eef_quat	Tensore	(4,)	float64	Orientamento dell'effettore finale
passi/osservazione/robot0_eef_vel_ang	Tensore	(3,)	float64	Velocità angolare dell'effettore finale
passi/osservazione/robot0_eef_vel_lin	Tensore	(3,)	float64	Velocità cartesiana dell'effettore finale
passi/osservazione/robot0_gripper_qpos	Tensore	(2,)	float64	Posizione della pinza
passi/osservazione/robot0_gripper_qvel	Tensore	(2,)	float64	Velocità della pinza
passi/osservazione/robot0_joint_pos	Tensore	(7,)	float64	Posizioni congiunte 7DOF
passi/osservazione/robot0_joint_pos_cos	Tensore	(7,)	float64
passi/osservazione/robot0_joint_pos_sin	Tensore	(7,)	float64
passi/osservazione/robot0_joint_vel	Tensore	(7,)	float64	Velocità articolari 7DOF
passi/ricompensa	Tensore		float64
passi/stati	Tensore	(32,)	float64

Esempi ( tfds.as_dataframe ):

robomimic_mg/can_mg_image

Dimensione download : 47.14 GiB
Dimensione del set di dati : 11.15 GiB
Memorizzazione nella cache automatica ( documentazione ): No
Divide :

Diviso	Esempi
`'train'`	3.900

Struttura delle caratteristiche :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Documentazione delle funzionalità :

Caratteristica	Classe	Forma	Tipo D	Descrizione
	CaratteristicheDict
episodio_id	Tensore		corda
orizzonte	Tensore		int32
passi	Set di dati
passi/azione	Tensore	(7,)	float64
passi/sconto	Tensore		int32
passi/è_primo	Tensore		bool
passi/è_ultimo	Tensore		bool
passi/è_terminale	Tensore		bool
passi/osservazione	CaratteristicheDict
passaggi/osservazione/agentview_image	Immagine	(84, 84, 3)	uint8
passi/osservazione/oggetto	Tensore	(14,)	float64
passi/osservazione/robot0_eef_pos	Tensore	(3,)	float64	Posizione dell'effettore finale
passi/osservazione/robot0_eef_quat	Tensore	(4,)	float64	Orientamento dell'effettore finale
passi/osservazione/robot0_eef_vel_ang	Tensore	(3,)	float64	Velocità angolare dell'effettore finale
passi/osservazione/robot0_eef_vel_lin	Tensore	(3,)	float64	Velocità cartesiana dell'effettore finale
passi/osservazione/robot0_eye_in_hand_image	Immagine	(84, 84, 3)	uint8
passi/osservazione/robot0_gripper_qpos	Tensore	(2,)	float64	Posizione della pinza
passi/osservazione/robot0_gripper_qvel	Tensore	(2,)	float64	Velocità della pinza
passi/osservazione/robot0_joint_pos	Tensore	(7,)	float64	Posizioni congiunte 7DOF
passi/osservazione/robot0_joint_pos_cos	Tensore	(7,)	float64
passi/osservazione/robot0_joint_pos_sin	Tensore	(7,)	float64
passi/osservazione/robot0_joint_vel	Tensore	(7,)	float64	Velocità articolari 7DOF
passi/ricompensa	Tensore		float64
passi/stati	Tensore	(71,)	float64

Esempi ( tfds.as_dataframe ):

robomimic_mg/can_mg_low_dim

Dimensione download : 1.01 GiB
Dimensione del set di dati : 697.71 MiB
Memorizzazione nella cache automatica ( documentazione ): No
Divide :

Diviso	Esempi
`'train'`	3.900

Struttura delle caratteristiche :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Documentazione delle funzionalità :

Caratteristica	Classe	Forma	Tipo D	Descrizione
	CaratteristicheDict
episodio_id	Tensore		corda
orizzonte	Tensore		int32
passi	Set di dati
passi/azione	Tensore	(7,)	float64
passi/sconto	Tensore		int32
passi/è_primo	Tensore		bool
passi/è_ultimo	Tensore		bool
passi/è_terminale	Tensore		bool
passi/osservazione	CaratteristicheDict
passi/osservazione/oggetto	Tensore	(14,)	float64
passi/osservazione/robot0_eef_pos	Tensore	(3,)	float64	Posizione dell'effettore finale
passi/osservazione/robot0_eef_quat	Tensore	(4,)	float64	Orientamento dell'effettore finale
passi/osservazione/robot0_eef_vel_ang	Tensore	(3,)	float64	Velocità angolare dell'effettore finale
passi/osservazione/robot0_eef_vel_lin	Tensore	(3,)	float64	Velocità cartesiana dell'effettore finale
passi/osservazione/robot0_gripper_qpos	Tensore	(2,)	float64	Posizione della pinza
passi/osservazione/robot0_gripper_qvel	Tensore	(2,)	float64	Velocità della pinza
passi/osservazione/robot0_joint_pos	Tensore	(7,)	float64	Posizioni congiunte 7DOF
passi/osservazione/robot0_joint_pos_cos	Tensore	(7,)	float64
passi/osservazione/robot0_joint_pos_sin	Tensore	(7,)	float64
passi/osservazione/robot0_joint_vel	Tensore	(7,)	float64	Velocità articolari 7DOF
passi/ricompensa	Tensore		float64
passi/stati	Tensore	(71,)	float64

Esempi ( tfds.as_dataframe ):