- توضیحات :
با نزدیک شدن یا پیشی گرفتن عملکرد سیستم در معیارهای درک مطلب موجود، ما به یک مجموعه داده جدید و سخت نیاز داریم که قابلیتهای سیستمها را برای خواندن پاراگرافهای متن بهبود بخشد. DROP یک معیار 96 هزار سؤالی است که توسط جمعسپاری ایجاد شده است، که در آن یک سیستم باید ارجاعها را در یک سؤال، شاید به موقعیتهای ورودی متعدد، حل کند و عملیات مجزا را روی آنها انجام دهد (مانند جمع، شمارش یا مرتبسازی). این عملیات نیاز به درک بسیار جامع تری از محتوای پاراگراف ها نسبت به آنچه برای مجموعه داده های قبلی لازم بود دارد.
اسناد اضافی : کاوش در کاغذها با کد
صفحه اصلی : https://allennlp.org/drop
کد منبع :
tfds.text.drop.Dropنسخه ها :
-
1.0.0: انتشار اولیه. -
2.0.0(پیشفرض): همه گزینهها را برای پاسخها اضافه کنید.
-
حجم دانلود :
7.92 MiBحجم مجموعه داده :
116.24 MiBذخیره خودکار ( اسناد ): بله
تقسیم ها :
| شکاف | مثال ها |
|---|---|
'dev' | 9,536 |
'train' | 77,409 |
- ساختار ویژگی :
FeaturesDict({
'answer': Text(shape=(), dtype=string),
'passage': Text(shape=(), dtype=string),
'query_id': Text(shape=(), dtype=string),
'question': Text(shape=(), dtype=string),
'validated_answers': Sequence(Text(shape=(), dtype=string)),
})
- مستندات ویژگی :
| ویژگی | کلاس | شکل | نوع D | شرح |
|---|---|---|---|---|
| FeaturesDict | ||||
| پاسخ | متن | رشته | ||
| گذر | متن | رشته | ||
| query_id | متن | رشته | ||
| سوال | متن | رشته | ||
| validated_answers | دنباله (متن) | (هیچ یک،) | رشته |
کلیدهای نظارت شده (به
as_superviseddoc مراجعه کنید):Noneشکل ( tfds.show_examples ): پشتیبانی نمی شود.
مثالها ( tfds.as_dataframe ):
- نقل قول :
@inproceedings{Dua2019DROP,
author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
title={ {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
booktitle={Proc. of NAACL},
year={2019}
}