- תיאור :
משימות סריקה עם פיצולים שונים.
SCAN הוא קבוצה של משימות ניווט פשוטות מונחות שפה ללימוד לימוד קומפוזיציה והכללה של אפס-shot.
רוב הפיצולים מתוארים בכתובת https://github.com/brendenlake/SCAN לפיצולים של MCD, ראה https://arxiv.org/abs/1912.09713.pdf
שימוש בסיסי:
data = tfds.load('scan/length')
דוגמה מתקדמת יותר:
import tensorflow_datasets as tfds
from tensorflow_datasets.datasets.scan import scan_dataset_builder
data = tfds.load(
'scan',
builder_kwargs=dict(
config=scan_dataset_builder.ScanConfig(
name='simple_p8', directory='simple_split/size_variations')))
תיעוד נוסף : חקור על ניירות עם קוד
דף הבית : https://github.com/brendenlake/SCAN
קוד מקור :
tfds.datasets.scan.Builderגרסאות :
-
1.1.1(ברירת מחדל): אין הערות שחרור.
-
שמור אוטומטי במטמון ( תיעוד ): כן
מבנה תכונה :
FeaturesDict({
'actions': Text(shape=(), dtype=string),
'commands': Text(shape=(), dtype=string),
})
- תיעוד תכונה :
| תכונה | מעמד | צוּרָה | Dtype | תיאור |
|---|---|---|---|---|
| FeaturesDict | ||||
| פעולות | טֶקסט | חוּט | ||
| פקודות | טֶקסט | חוּט |
מפתחות בפיקוח (ראה
as_superviseddoc ):('commands', 'actions')איור ( tfds.show_examples ): לא נתמך.
ציטוט :
@inproceedings{Lake2018GeneralizationWS,
title={Generalization without Systematicity: On the Compositional Skills of
Sequence-to-Sequence Recurrent Networks},
author={Brenden M. Lake and Marco Baroni},
booktitle={ICML},
year={2018},
url={https://arxiv.org/pdf/1711.00350.pdf},
}
@inproceedings{Keysers2020,
title={Measuring Compositional Generalization: A Comprehensive Method on
Realistic Data},
author={Daniel Keysers and Nathanael Sch\"{a}rli and Nathan Scales and
Hylke Buisman and Daniel Furrer and Sergii Kashubin and
Nikola Momchev and Danila Sinopalnikov and Lukasz Stafiniak and
Tibor Tihon and Dmitry Tsarkov and Xiao Wang and Marc van Zee and
Olivier Bousquet},
note={Additional citation for MCD splits},
booktitle={ICLR},
year={2020},
url={https://arxiv.org/abs/1912.09713.pdf},
}
סריקה/פשוטה (תצורת ברירת המחדל)
גודל הורדה :
17.82 MiBגודל ערכת נתונים :
4.47 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 4,182 |
'train' | 16,728 |
- דוגמאות ( tfds.as_dataframe ):
scan/addprim_jump
גודל הורדה :
17.82 MiBגודל ערכת נתונים :
4.53 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 7,706 |
'train' | 14,670 |
- דוגמאות ( tfds.as_dataframe ):
scan/addprim_turn_left
גודל הורדה :
17.82 MiBגודל ערכת נתונים :
4.58 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,208 |
'train' | 21,890 |
- דוגמאות ( tfds.as_dataframe ):
scan/filler_num0
גודל הורדה :
17.82 MiBגודל מערך נתונים :
3.20 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,173 |
'train' | 15,225 |
- דוגמאות ( tfds.as_dataframe ):
scan/filler_num1
גודל הורדה :
17.82 MiBגודל מערך נתונים :
3.51 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,173 |
'train' | 16,290 |
- דוגמאות ( tfds.as_dataframe ):
scan/filler_num2
גודל הורדה :
17.82 MiBגודל מערך נתונים :
3.84 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,173 |
'train' | 17,391 |
- דוגמאות ( tfds.as_dataframe ):
scan/filler_num3
גודל הורדה :
17.82 MiBגודל מערך נתונים :
4.17 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,173 |
'train' | 18,528 |
- דוגמאות ( tfds.as_dataframe ):
סריקה/אורך
גודל הורדה :
17.82 MiBגודל ערכת נתונים :
4.47 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 3,920 |
'train' | 16,990 |
- דוגמאות ( tfds.as_dataframe ):
scan/template_around_right
גודל הורדה :
17.82 MiBגודל מערך נתונים :
4.17 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 4,476 |
'train' | 15,225 |
- דוגמאות ( tfds.as_dataframe ):
scan/template_jump_around_right
גודל הורדה :
17.82 MiBגודל מערך נתונים :
4.17 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,173 |
'train' | 18,528 |
- דוגמאות ( tfds.as_dataframe ):
סריקה/תבנית_מול_ימין
גודל הורדה :
17.82 MiBגודל ערכת נתונים :
4.22 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 4,476 |
'train' | 15,225 |
- דוגמאות ( tfds.as_dataframe ):
scan/template_right
גודל הורדה :
17.82 MiBגודל ערכת נתונים :
4.26 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 4,476 |
'train' | 15,225 |
- דוגמאות ( tfds.as_dataframe ):
סריקה/mcd1
גודל הורדה :
17.89 MiBגודל מערך נתונים :
1.89 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,045 |
'train' | 8,365 |
- דוגמאות ( tfds.as_dataframe ):
סריקה/mcd2
גודל הורדה :
17.89 MiBגודל מערך נתונים :
1.84 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,045 |
'train' | 8,365 |
- דוגמאות ( tfds.as_dataframe ):
סריקה/mcd3
גודל הורדה :
17.89 MiBגודל ערכת נתונים :
1.87 MiBפיצולים :
| לְפַצֵל | דוגמאות |
|---|---|
'test' | 1,045 |
'train' | 8,365 |
- דוגמאות ( tfds.as_dataframe ):