taco_play

  • Description :

Bras Franka interagissant avec la cuisine

Diviser Exemples
'test' 361
'train' 3 242
  • Structure des fonctionnalités : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Documentation des fonctionnalités :
Fonctionnalité Classe Forme Type D Description
FonctionnalitésDict
mesures Ensemble de données
étapes/actions FonctionnalitésDict
étapes/action/actions Tenseur (7,) flotteur32 valeurs absolues souhaitées pour la pose de la pince (les 6 premières dimensions sont x, y, z, lacet, tangage, roulis), la dernière dimension est open_gripper (-1 est une pince ouverte, 1 est fermée)
étapes/action/rel_actions_gripper Tenseur (7,) flotteur32 actions relatives pour la pose de la pince dans le cadre de la caméra de la pince (les 6 premières dimensions sont x, y, z, lacet, tangage, roulis), la dernière dimension est open_gripper (-1 est la pince ouverte, 1 est fermée)
étapes/action/rel_actions_world Tenseur (7,) flotteur32 actions relatives pour la pose de la pince dans le châssis de base du robot (les 6 premières dimensions sont x, y, z, lacet, tangage, roulis), la dernière dimension est open_gripper (-1 est une pince ouverte, 1 est fermée)
étapes/action/terminate_episode Tenseur flotteur32
étapes/is_first Tenseur bouffon
étapes/est_dernier Tenseur bouffon
étapes/is_terminal Tenseur bouffon
étapes/observation FonctionnalitésDict
étapes/observation/profondeur_gripper Tenseur (84, 84) flotteur32
étapes/observation/profondeur_statique Tenseur (150, 200) flotteur32
étapes/observation/natural_lingual_embedding Tenseur (512,) flotteur32
étapes/observation/instruction_langue_naturelle Tenseur chaîne L'enseignement en langage naturel est un enseignement en langage naturel échantillonné de manière aléatoire sur la base de synonymes de tâches potentiels dérivés de la tâche en langage structuré. Par exemple, « éteindre la lumière bleue » peut correspondre à « éteindre la lumière bleue ».
étapes/observation/rgb_gripper Image (84, 84, 3) uint8
étapes/observation/rgb_static Image (150, 200, 3) uint8 Image statique RVB de la forme. (150, 200, 3). Sous-échantillonné à partir de l'image (200 200, 3).
étapes/observation/robot_obs Tenseur (15,) flotteur32 Position EE (3), orientation EE dans les angles d'Euler (3), largeur de la pince (1), positions des articulations (7), action de la pince (1)
étapes/observation/structured_langage_instruction Tenseur chaîne Une des 25 instructions de langage structuré possibles, voir la liste dans https://arxiv.org/pdf/2210.01911.pdf Tableau 2.
étapes/récompense Scalaire flotteur32
  • Citation : 
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}