robomimic_mg

Descrição :

Os conjuntos de dados gerados pela máquina Robomimic foram coletados usando um agente Soft Actor Critic treinado com uma recompensa densa. Cada conjunto de dados consiste no buffer de reprodução do agente.

Cada tarefa possui duas versões: uma com observações de baixa dimensão ( low_dim ) e outra com imagens ( image ).

Os conjuntos de dados seguem o formato RLDS para representar etapas e episódios.

Página inicial : https://arise-initiative.github.io/robomimic-web/
Código fonte : tfds.datasets.robomimic_mg.Builder
Versões :
- 1.0.0 (padrão): versão inicial.
Chaves supervisionadas (consulte o documento as_supervised ): None
Figura ( tfds.show_examples ): Não suportado.
Citação :

@inproceedings{robomimic2021,
  title={What Matters in Learning from Offline Human Demonstrations for Robot Manipulation},
  author={Ajay Mandlekar and Danfei Xu and Josiah Wong and Soroush Nasiriany
          and Chen Wang and Rohun Kulkarni and Li Fei-Fei and Silvio Savarese
          and Yuke Zhu and Roberto Mart\'{i}n-Mart\'{i}n},
  booktitle={Conference on Robot Learning},
  year={2021}
}

robomimic_mg/lift_mg_image (configuração padrão)

Tamanho do download : 18.04 GiB
Tamanho do conjunto de dados : 2.73 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :

Dividir	Exemplos
`'train'`	1.500

Estrutura de recursos :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Documentação de recursos :

Recurso	Aula	Forma	Tipo D	Descrição
	RecursosDict
episódio_id	Tensor		corda
horizonte	Tensor		int32
passos	Conjunto de dados
etapas/ação	Tensor	(7,)	float64
passos/desconto	Tensor		int32
passos/é_primeiro	Tensor		bool
passos/é_último	Tensor		bool
etapas/is_terminal	Tensor		bool
etapas/observação	RecursosDict
etapas/observação/agentview_image	Imagem	(84, 84, 3)	uint8
etapas/observação/objeto	Tensor	(10,)	float64
etapas/observação/robot0_eef_pos	Tensor	(3,)	float64	Posição do efetor final
etapas/observação/robot0_eef_quat	Tensor	(4,)	float64	Orientação do efetor final
etapas/observação/robot0_eef_vel_ang	Tensor	(3,)	float64	Velocidade angular do efetor final
etapas/observação/robot0_eef_vel_lin	Tensor	(3,)	float64	Velocidade cartesiana do efetor final
etapas/observação/robot0_eye_in_hand_image	Imagem	(84, 84, 3)	uint8
etapas/observação/robot0_gripper_qpos	Tensor	(2,)	float64	Posição da pinça
etapas/observação/robot0_gripper_qvel	Tensor	(2,)	float64	Velocidade da garra
etapas/observação/robot0_joint_pos	Tensor	(7,)	float64	Posições conjuntas 7DOF
etapas/observação/robot0_joint_pos_cos	Tensor	(7,)	float64
etapas/observação/robot0_joint_pos_sin	Tensor	(7,)	float64
etapas/observação/robot0_joint_vel	Tensor	(7,)	float64	Velocidades articulares 7DOF
passos/recompensa	Tensor		float64
etapas/estados	Tensor	(32,)	float64

Exemplos ( tfds.as_dataframe ):

robomimic_mg/lift_mg_low_dim

Tamanho do download : 302.25 MiB
Tamanho do conjunto de dados : 195.10 MiB
Armazenado em cache automaticamente ( documentação ): somente quando shuffle_files=False (train)
Divisões :

Dividir	Exemplos
`'train'`	1.500

Estrutura de recursos :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(10,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(32,), dtype=float64),
    }),
})

Documentação de recursos :

Recurso	Aula	Forma	Tipo D	Descrição
	RecursosDict
episódio_id	Tensor		corda
horizonte	Tensor		int32
passos	Conjunto de dados
etapas/ação	Tensor	(7,)	float64
passos/desconto	Tensor		int32
passos/é_primeiro	Tensor		bool
passos/é_último	Tensor		bool
etapas/is_terminal	Tensor		bool
etapas/observação	RecursosDict
etapas/observação/objeto	Tensor	(10,)	float64
etapas/observação/robot0_eef_pos	Tensor	(3,)	float64	Posição do efetor final
etapas/observação/robot0_eef_quat	Tensor	(4,)	float64	Orientação do efetor final
etapas/observação/robot0_eef_vel_ang	Tensor	(3,)	float64	Velocidade angular do efetor final
etapas/observação/robot0_eef_vel_lin	Tensor	(3,)	float64	Velocidade cartesiana do efetor final
etapas/observação/robot0_gripper_qpos	Tensor	(2,)	float64	Posição da pinça
etapas/observação/robot0_gripper_qvel	Tensor	(2,)	float64	Velocidade da garra
etapas/observação/robot0_joint_pos	Tensor	(7,)	float64	Posições conjuntas 7DOF
etapas/observação/robot0_joint_pos_cos	Tensor	(7,)	float64
etapas/observação/robot0_joint_pos_sin	Tensor	(7,)	float64
etapas/observação/robot0_joint_vel	Tensor	(7,)	float64	Velocidades articulares 7DOF
passos/recompensa	Tensor		float64
etapas/estados	Tensor	(32,)	float64

Exemplos ( tfds.as_dataframe ):

robomimic_mg/can_mg_image

Tamanho do download : 47.14 GiB
Tamanho do conjunto de dados : 11.15 GiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :

Dividir	Exemplos
`'train'`	3.900

Estrutura de recursos :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'agentview_image': Image(shape=(84, 84, 3), dtype=uint8),
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_eye_in_hand_image': Image(shape=(84, 84, 3), dtype=uint8),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Documentação de recursos :

Recurso	Aula	Forma	Tipo D	Descrição
	RecursosDict
episódio_id	Tensor		corda
horizonte	Tensor		int32
passos	Conjunto de dados
etapas/ação	Tensor	(7,)	float64
passos/desconto	Tensor		int32
passos/é_primeiro	Tensor		bool
passos/é_último	Tensor		bool
etapas/is_terminal	Tensor		bool
etapas/observação	RecursosDict
etapas/observação/agentview_image	Imagem	(84, 84, 3)	uint8
etapas/observação/objeto	Tensor	(14,)	float64
etapas/observação/robot0_eef_pos	Tensor	(3,)	float64	Posição do efetor final
etapas/observação/robot0_eef_quat	Tensor	(4,)	float64	Orientação do efetor final
etapas/observação/robot0_eef_vel_ang	Tensor	(3,)	float64	Velocidade angular do efetor final
etapas/observação/robot0_eef_vel_lin	Tensor	(3,)	float64	Velocidade cartesiana do efetor final
etapas/observação/robot0_eye_in_hand_image	Imagem	(84, 84, 3)	uint8
etapas/observação/robot0_gripper_qpos	Tensor	(2,)	float64	Posição da pinça
etapas/observação/robot0_gripper_qvel	Tensor	(2,)	float64	Velocidade da garra
etapas/observação/robot0_joint_pos	Tensor	(7,)	float64	Posições conjuntas 7DOF
etapas/observação/robot0_joint_pos_cos	Tensor	(7,)	float64
etapas/observação/robot0_joint_pos_sin	Tensor	(7,)	float64
etapas/observação/robot0_joint_vel	Tensor	(7,)	float64	Velocidades articulares 7DOF
passos/recompensa	Tensor		float64
etapas/estados	Tensor	(71,)	float64

Exemplos ( tfds.as_dataframe ):

robomimic_mg/can_mg_low_dim

Tamanho do download : 1.01 GiB
Tamanho do conjunto de dados : 697.71 MiB
Armazenado em cache automaticamente ( documentação ): Não
Divisões :

Dividir	Exemplos
`'train'`	3.900

Estrutura de recursos :

FeaturesDict({
    'episode_id': string,
    'horizon': int32,
    'steps': Dataset({
        'action': Tensor(shape=(7,), dtype=float64),
        'discount': int32,
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'object': Tensor(shape=(14,), dtype=float64),
            'robot0_eef_pos': Tensor(shape=(3,), dtype=float64, description=End-effector position),
            'robot0_eef_quat': Tensor(shape=(4,), dtype=float64, description=End-effector orientation),
            'robot0_eef_vel_ang': Tensor(shape=(3,), dtype=float64, description=End-effector angular velocity),
            'robot0_eef_vel_lin': Tensor(shape=(3,), dtype=float64, description=End-effector cartesian velocity),
            'robot0_gripper_qpos': Tensor(shape=(2,), dtype=float64, description=Gripper position),
            'robot0_gripper_qvel': Tensor(shape=(2,), dtype=float64, description=Gripper velocity),
            'robot0_joint_pos': Tensor(shape=(7,), dtype=float64, description=7DOF joint positions),
            'robot0_joint_pos_cos': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_pos_sin': Tensor(shape=(7,), dtype=float64),
            'robot0_joint_vel': Tensor(shape=(7,), dtype=float64, description=7DOF joint velocities),
        }),
        'reward': float64,
        'states': Tensor(shape=(71,), dtype=float64),
    }),
})

Documentação de recursos :

Recurso	Aula	Forma	Tipo D	Descrição
	RecursosDict
episódio_id	Tensor		corda
horizonte	Tensor		int32
passos	Conjunto de dados
etapas/ação	Tensor	(7,)	float64
passos/desconto	Tensor		int32
passos/é_primeiro	Tensor		bool
passos/é_último	Tensor		bool
etapas/is_terminal	Tensor		bool
etapas/observação	RecursosDict
etapas/observação/objeto	Tensor	(14,)	float64
etapas/observação/robot0_eef_pos	Tensor	(3,)	float64	Posição do efetor final
etapas/observação/robot0_eef_quat	Tensor	(4,)	float64	Orientação do efetor final
etapas/observação/robot0_eef_vel_ang	Tensor	(3,)	float64	Velocidade angular do efetor final
etapas/observação/robot0_eef_vel_lin	Tensor	(3,)	float64	Velocidade cartesiana do efetor final
etapas/observação/robot0_gripper_qpos	Tensor	(2,)	float64	Posição da pinça
etapas/observação/robot0_gripper_qvel	Tensor	(2,)	float64	Velocidade da garra
etapas/observação/robot0_joint_pos	Tensor	(7,)	float64	Posições conjuntas 7DOF
etapas/observação/robot0_joint_pos_cos	Tensor	(7,)	float64
etapas/observação/robot0_joint_pos_sin	Tensor	(7,)	float64
etapas/observação/robot0_joint_vel	Tensor	(7,)	float64	Velocidades articulares 7DOF
passos/recompensa	Tensor		float64
etapas/estados	Tensor	(71,)	float64

Exemplos ( tfds.as_dataframe ):