- Descrição :
Conjunto de dados real de 14 tarefas de manipulação de longo horizonte. Uma mistura de dados de jogo humano e dados de braço de robô único executando as mesmas tarefas.
Página inicial : https://mimic-play.github.io/
Código fonte :
tfds.robotics.rtx.MimicPlayVersões :
-
0.1.0(padrão): versão inicial.
-
Tamanho do download :
Unknown sizeTamanho do conjunto de dados :
7.14 GiBArmazenado em cache automaticamente ( documentação ): Não
Divisões :
| Dividir | Exemplos |
|---|---|
'train' | 378 |
- Estrutura de recursos :
FeaturesDict({
'episode_metadata': FeaturesDict({
'file_path': string,
}),
'steps': Dataset({
'action': Tensor(shape=(7,), dtype=float32),
'discount': Scalar(shape=(), dtype=float32),
'is_first': bool,
'is_last': bool,
'is_terminal': bool,
'language_embedding': Tensor(shape=(512,), dtype=float32),
'language_instruction': string,
'observation': FeaturesDict({
'image': FeaturesDict({
'front_image_1': Image(shape=(120, 120, 3), dtype=uint8),
'front_image_2': Image(shape=(120, 120, 3), dtype=uint8),
}),
'state': FeaturesDict({
'ee_pose': Tensor(shape=(7,), dtype=float32),
'gripper_position': float32,
'joint_positions': Tensor(shape=(7,), dtype=float32),
'joint_velocities': Tensor(shape=(7,), dtype=float32),
}),
'wrist_image': FeaturesDict({
'wrist_image': Image(shape=(120, 120, 3), dtype=uint8),
}),
}),
'reward': Scalar(shape=(), dtype=float32),
}),
})
- Documentação de recursos :
| Recurso | Aula | Forma | Tipo D | Descrição |
|---|---|---|---|---|
| RecursosDict | ||||
| episódio_metadados | RecursosDict | |||
| episódio_metadados/caminho_do_arquivo | Tensor | corda | ||
| passos | Conjunto de dados | |||
| etapas/ação | Tensor | (7,) | float32 | |
| passos/desconto | Escalar | float32 | ||
| passos/é_primeiro | Tensor | bool | ||
| passos/é_último | Tensor | bool | ||
| etapas/is_terminal | Tensor | bool | ||
| etapas/idioma_incorporação | Tensor | (512,) | float32 | |
| etapas/instrução_idioma | Tensor | corda | ||
| etapas/observação | RecursosDict | |||
| passos/observação/imagem | RecursosDict | |||
| etapas/observação/imagem/front_image_1 | Imagem | (120, 120, 3) | uint8 | |
| etapas/observação/imagem/front_image_2 | Imagem | (120, 120, 3) | uint8 | |
| etapas/observação/estado | RecursosDict | |||
| passos/observação/estado/ee_pose | Tensor | (7,) | float32 | |
| etapas/observação/estado/posição_da garra | Tensor | float32 | ||
| etapas/observação/estado/posições_juntas | Tensor | (7,) | float32 | |
| passos/observação/estado/velocidades_juntas | Tensor | (7,) | float32 | |
| passos/observação/imagem_de_pulso | RecursosDict | |||
| etapas/observação/imagem_de_pulso/imagem_de_pulso | Imagem | (120, 120, 3) | uint8 | |
| passos/recompensa | Escalar | float32 |
Chaves supervisionadas (consulte o documento
as_supervised):NoneFigura ( tfds.show_examples ): Não suportado.
Exemplos ( tfds.as_dataframe ):
- Citação :
@article{wang2023mimicplay,title={Mimicplay: Long-horizon imitation learning by watching human play},author={Wang, Chen and Fan, Linxi and Sun, Jiankai and Zhang, Ruohan and Fei-Fei, Li and Xu, Danfei and Zhu, Yuke and Anandkumar, Anima},journal={arXiv preprint arXiv:2302.12422},year={2023} }