robomimic_mg

  • Descripción :

Los conjuntos de datos generados por la máquina Robomimic se recopilaron utilizando un agente Soft Actor Critic entrenado con una densa recompensa. Cada conjunto de datos consta del búfer de reproducción del agente.

Cada tarea tiene dos versiones: una con observaciones de baja dimensión ( low_dim ) y otra con imágenes ( image ).

Los conjuntos de datos siguen el formato RLDS para representar pasos y episodios.

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (configuración predeterminada)

  • Tamaño de descarga : 18.04 GiB

  • Tamaño del conjunto de datos : 2.73 GiB

  • Almacenamiento en caché automático ( documentación ): No

  • Divisiones :

Dividir Ejemplos
'train' 1.500
  • Estructura de características : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
id_episodio Tensor cadena
horizonte Tensor int32
pasos Conjunto de datos
pasos/acción Tensor (7,) flotador64
pasos/descuento Tensor int32
pasos/es_primero Tensor booleano
pasos/es_último Tensor booleano
pasos/es_terminal Tensor booleano
pasos/observación FuncionesDict
pasos/observación/agentview_image Imagen (84, 84, 3) uint8
pasos/observación/objeto Tensor (10,) flotador64
pasos/observación/robot0_eef_pos Tensor (3,) flotador64 Posición del efector final
pasos/observación/robot0_eef_quat Tensor (4,) flotador64 Orientación del efector final
pasos/observación/robot0_eef_vel_ang Tensor (3,) flotador64 Velocidad angular del efector final
pasos/observación/robot0_eef_vel_lin Tensor (3,) flotador64 Velocidad cartesiana del efector final
pasos/observación/robot0_eye_in_hand_image Imagen (84, 84, 3) uint8
pasos/observación/robot0_gripper_qpos Tensor (2,) flotador64 Posición de la pinza
pasos/observación/robot0_gripper_qvel Tensor (2,) flotador64 Velocidad de la pinza
pasos/observación/robot0_joint_pos Tensor (7,) flotador64 Posiciones conjuntas 7DOF
pasos/observación/robot0_joint_pos_cos Tensor (7,) flotador64
pasos/observación/robot0_joint_pos_sin Tensor (7,) flotador64
pasos/observación/robot0_joint_vel Tensor (7,) flotador64 Velocidades conjuntas 7DOF
pasos/recompensa Tensor flotador64
pasos/estados Tensor (32,) flotador64

robomimic_mg/lift_mg_low_dim

  • Tamaño de descarga : 302.25 MiB

  • Tamaño del conjunto de datos : 195.10 MiB

  • Almacenamiento en caché automático ( documentación ): solo cuando shuffle_files=False (entrenamiento)

  • Divisiones :

Dividir Ejemplos
'train' 1.500
  • Estructura de características : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
id_episodio Tensor cadena
horizonte Tensor int32
pasos Conjunto de datos
pasos/acción Tensor (7,) flotador64
pasos/descuento Tensor int32
pasos/es_primero Tensor booleano
pasos/es_último Tensor booleano
pasos/es_terminal Tensor booleano
pasos/observación FuncionesDict
pasos/observación/objeto Tensor (10,) flotador64
pasos/observación/robot0_eef_pos Tensor (3,) flotador64 Posición del efector final
pasos/observación/robot0_eef_quat Tensor (4,) flotador64 Orientación del efector final
pasos/observación/robot0_eef_vel_ang Tensor (3,) flotador64 Velocidad angular del efector final
pasos/observación/robot0_eef_vel_lin Tensor (3,) flotador64 Velocidad cartesiana del efector final
pasos/observación/robot0_gripper_qpos Tensor (2,) flotador64 Posición de la pinza
pasos/observación/robot0_gripper_qvel Tensor (2,) flotador64 Velocidad de la pinza
pasos/observación/robot0_joint_pos Tensor (7,) flotador64 Posiciones conjuntas 7DOF
pasos/observación/robot0_joint_pos_cos Tensor (7,) flotador64
pasos/observación/robot0_joint_pos_sin Tensor (7,) flotador64
pasos/observación/robot0_joint_vel Tensor (7,) flotador64 Velocidades conjuntas 7DOF
pasos/recompensa Tensor flotador64
pasos/estados Tensor (32,) flotador64

robomimic_mg/can_mg_image

  • Tamaño de descarga : 47.14 GiB

  • Tamaño del conjunto de datos : 11.15 GiB

  • Almacenamiento en caché automático ( documentación ): No

  • Divisiones :

Dividir Ejemplos
'train' 3.900
  • Estructura de características : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
id_episodio Tensor cadena
horizonte Tensor int32
pasos Conjunto de datos
pasos/acción Tensor (7,) flotador64
pasos/descuento Tensor int32
pasos/es_primero Tensor booleano
pasos/es_último Tensor booleano
pasos/es_terminal Tensor booleano
pasos/observación FuncionesDict
pasos/observación/agentview_image Imagen (84, 84, 3) uint8
pasos/observación/objeto Tensor (14,) flotador64
pasos/observación/robot0_eef_pos Tensor (3,) flotador64 Posición del efector final
pasos/observación/robot0_eef_quat Tensor (4,) flotador64 Orientación del efector final
pasos/observación/robot0_eef_vel_ang Tensor (3,) flotador64 Velocidad angular del efector final
pasos/observación/robot0_eef_vel_lin Tensor (3,) flotador64 Velocidad cartesiana del efector final
pasos/observación/robot0_eye_in_hand_image Imagen (84, 84, 3) uint8
pasos/observación/robot0_gripper_qpos Tensor (2,) flotador64 Posición de la pinza
pasos/observación/robot0_gripper_qvel Tensor (2,) flotador64 Velocidad de la pinza
pasos/observación/robot0_joint_pos Tensor (7,) flotador64 Posiciones conjuntas 7DOF
pasos/observación/robot0_joint_pos_cos Tensor (7,) flotador64
pasos/observación/robot0_joint_pos_sin Tensor (7,) flotador64
pasos/observación/robot0_joint_vel Tensor (7,) flotador64 Velocidades conjuntas 7DOF
pasos/recompensa Tensor flotador64
pasos/estados Tensor (71,) flotador64

robomimic_mg/can_mg_low_dim

  • Tamaño de descarga : 1.01 GiB

  • Tamaño del conjunto de datos : 697.71 MiB

  • Almacenamiento en caché automático ( documentación ): No

  • Divisiones :

Dividir Ejemplos
'train' 3.900
  • Estructura de características : 
FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})
  • Documentación de funciones :
Característica Clase Forma tipo D Descripción
FuncionesDict
id_episodio Tensor cadena
horizonte Tensor int32
pasos Conjunto de datos
pasos/acción Tensor (7,) flotador64
pasos/descuento Tensor int32
pasos/es_primero Tensor booleano
pasos/es_último Tensor booleano
pasos/es_terminal Tensor booleano
pasos/observación FuncionesDict
pasos/observación/objeto Tensor (14,) flotador64
pasos/observación/robot0_eef_pos Tensor (3,) flotador64 Posición del efector final
pasos/observación/robot0_eef_quat Tensor (4,) flotador64 Orientación del efector final
pasos/observación/robot0_eef_vel_ang Tensor (3,) flotador64 Velocidad angular del efector final
pasos/observación/robot0_eef_vel_lin Tensor (3,) flotador64 Velocidad cartesiana del efector final
pasos/observación/robot0_gripper_qpos Tensor (2,) flotador64 Posición de la pinza
pasos/observación/robot0_gripper_qvel Tensor (2,) flotador64 Velocidad de la pinza
pasos/observación/robot0_joint_pos Tensor (7,) flotador64 Posiciones conjuntas 7DOF
pasos/observación/robot0_joint_pos_cos Tensor (7,) flotador64
pasos/observación/robot0_joint_pos_sin Tensor (7,) flotador64
pasos/observación/robot0_joint_vel Tensor (7,) flotador64 Velocidades conjuntas 7DOF
pasos/recompensa Tensor flotador64
pasos/estados Tensor (71,) flotador64