タコプレイ

  • 説明：

キッチンと対話するフランカの腕

スプリット例
'test' 361
'train' 3,242
  • 機能の構造: 
FeaturesDict({
    'steps': Dataset({
        'action': FeaturesDict({
            'actions': Tensor(shape=(7,), dtype=float32, description=absolute desired values for gripper pose (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_gripper': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the gripper camera frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'rel_actions_world': Tensor(shape=(7,), dtype=float32, description=relative actions for gripper pose in the robot base frame (first 6 dimensions are x, y, z, yaw, pitch, roll), last dimension is open_gripper (-1 is open gripper, 1 is close)),
            'terminate_episode': float32,
        }),
        'is_first': bool,
        'is_last': bool,
        'is_terminal': bool,
        'observation': FeaturesDict({
            'depth_gripper': Tensor(shape=(84, 84), dtype=float32),
            'depth_static': Tensor(shape=(150, 200), dtype=float32),
            'natural_language_embedding': Tensor(shape=(512,), dtype=float32),
            'natural_language_instruction': string,
            'rgb_gripper': Image(shape=(84, 84, 3), dtype=uint8),
            'rgb_static': Image(shape=(150, 200, 3), dtype=uint8, description=RGB static image of shape. (150, 200, 3). Subsampled from (200,200, 3) image.),
            'robot_obs': Tensor(shape=(15,), dtype=float32, description=EE position (3), EE orientation in euler angles (3), gripper width (1), joint positions (7), gripper action (1)),
            'structured_language_instruction': string,
        }),
        'reward': Scalar(shape=(), dtype=float32),
    }),
})
  • 機能ドキュメント:
特徴クラス形Dタイプ説明
特徴辞書
ステップデータセット
ステップ/アクション特徴辞書
ステップ/アクション/アクションテンソル(7,) float32グリッパー ポーズの絶対的な望ましい値 (最初の 6 次元は x、y、z、ヨー、ピッチ、ロール)、最後の次元は open_gripper (-1 はグリッパーが開いており、1 は閉じています)
ステップ/アクション/rel_actions_gripperテンソル(7,) float32グリッパー カメラ フレーム内のグリッパー ポーズの相対アクション (最初の 6 次元は x、y、z、ヨー、ピッチ、ロール)、最後の次元は open_gripper (-1 はグリッパーが開いており、1 は閉じています)
ステップ/アクション/rel_actions_worldテンソル(7,) float32ロボットのベース フレームでのグリッパー ポーズの相対アクション (最初の 6 次元は x、y、z、ヨー、ピッチ、ロール)、最後の次元は open_gripper (-1 はグリッパーが開いており、1 は閉じています)
ステップ/アクション/terminate_episodeテンソルfloat32
ステップ/is_firstテンソルブール
ステップ/is_lastテンソルブール
ステップ/is_terminalテンソルブール
ステップ/観察特徴辞書
ステップ/観察/深さ_グリッパーテンソル(84、84) float32
ステップ/観察/深さ_静的テンソル(150、200) float32
ステップ/観察/natural_lang_embeddingテンソル(512,) float32
ステップ/観察/natural_ language_instructionテンソル弦自然言語命令は、構造化言語タスクから派生した潜在的なタスクの同義語に基づいてランダムにサンプリングされた自然言語命令です。たとえば、「青色のライトをオフにする」は、「青色のライトをオフに切り替える」にマッピングされる場合があります。
ステップ/観察/rgb_gripper画像(84、84、3) uint8
ステップ/観察/rgb_static画像(150、200、3) uint8形状の RGB 静的画像。 (150、200、3)。 (200,200, 3) イメージからサブサンプリングされました。
ステップ/観察/robot_obsテンソル(15,) float32 EE 位置 (3)、オイラー角での EE 方向 (3)、グリッパー幅 (1)、ジョイント位置 (7)、グリッパー動作 (1)
ステップ/観察/構造化言語説明テンソル弦25 の可能な構造化言語命令のうちの 1 つ。https: //arxiv.org/pdf/2210.01911.pdfのリストを参照してください。表 2。
歩数/報酬スカラーfloat32
  • 引用： 
@inproceedings{rosete2022tacorl,
author = {Erick Rosete-Beas and Oier Mees and Gabriel Kalweit and Joschka Boedecker and Wolfram Burgard},
title = {Latent Plans for Task Agnostic Offline Reinforcement Learning},
journal = {Proceedings of the 6th Conference on Robot Learning (CoRL)},
year = {2022}
}
@inproceedings{mees23hulc2,
title={Grounding  Language  with  Visual  Affordances  over  Unstructured  Data},
author={Oier Mees and Jessica Borja-Diaz and Wolfram Burgard},
booktitle = {Proceedings of the IEEE International Conference on Robotics and Automation (ICRA)},
year={2023},
address = {London, UK}
}