taco_play

  • Tanım :

Franka'nın mutfakla etkileşime giren kolu

Bölmek Örnekler
'test' 361
'train' 3.242
  • Özellik yapısı : 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
adımlar Veri kümesi
adımlar/eylem ÖzelliklerDict
adımlar/eylem/eylemler Tensör (7,) kayan nokta32 kıskaç pozu için mutlak istenen değerler (ilk 6 boyut x, y, z, sapma, eğim, yuvarlanmadır), son boyut open_gripper'dır (-1 açık kıskaçtır, 1 yakındır)
adımlar/action/rel_actions_gripper Tensör (7,) kayan nokta32 kıskaç kamera çerçevesindeki kıskaç pozu için göreceli eylemler (ilk 6 boyut x, y, z, sapma, eğim, yuvarlanmadır), son boyut open_gripper'dır (-1 açık kıskaçtır, 1 yakındır)
adımlar/action/rel_actions_world Tensör (7,) kayan nokta32 robot taban çerçevesindeki kıskaç pozu için göreceli eylemler (ilk 6 boyut x, y, z, sapma, eğim, yuvarlanmadır), son boyut open_gripper'dır (-1 açık kıskaçtır, 1 yakındır)
adımlar/eylem/terminate_episode Tensör kayan nokta32
adımlar/is_first Tensör bool
adımlar/is_last Tensör bool
adımlar/is_terminal Tensör bool
adımlar/gözlem ÖzelliklerDict
adımlar/gözlem/derinlik_gripper Tensör (84, 84) kayan nokta32
adımlar/gözlem/derinlik_statik Tensör (150, 200) kayan nokta32
adımlar/gözlem/natural_language_embedding Tensör (512,) kayan nokta32
adımlar/gözlem/natural_language_instruction Tensör sicim Doğal dil öğretimi, yapılandırılmış dil görevinden türetilen potansiyel görev eşanlamlılarına dayalı olarak rastgele örneklenen bir doğal dil öğretimidir. Örneğin, 'mavi ışığı kapat', 'mavi renkli ışığı kapat' ile eşleşebilir.
adımlar/gözlem/rgb_gripper Resim (84, 84, 3) uint8
adımlar/gözlem/rgb_static Resim (150, 200, 3) uint8 Şeklin RGB statik görüntüsü. (150, 200, 3). (200,200, 3) görüntüsünden alt örneklenmiştir.
adımlar/gözlem/robot_obs Tensör (15,) kayan nokta32 EE konumu (3), euler açılarında EE yönelimi (3), tutucu genişliği (1), bağlantı konumları (7), tutucu hareketi (1)
adımlar/gözlem/structured_language_instruction Tensör sicim 25 olası yapılandırılmış dil talimatından biri, https://arxiv.org/pdf/2210.01911.pdf Tablo 2'deki listeye bakın.
adımlar/ödül Skaler kayan nokta32
  • Alıntı : 
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}