- توضیحات :
Less Basic Python Programming مجموعه ای از 161 مشکل برنامه نویسی با تست های واحد همراه است. آنها با هدف تازه بودن (درز نشت در زمان ایجاد) و دشوارتر از مجموعه داده های مشابه (مانند HumanEval و MBPP) ایجاد شدند. میتواند به عنوان جایگزینی یا غنیسازی آن مجموعه دادهها عمل کند، زیرا آنها به روشی معادل ساختار یافتهاند.
صفحه اصلی : https://aclanthology.org/2024.findings-emnlp.772/
کد منبع :
tfds.datasets.lbpp.Builderنسخه ها :
-
2.0.0(پیشفرض): هیچ یادداشت انتشار وجود ندارد.
-
ذخیره خودکار ( اسناد ): بله
ساختار ویژگی :
FeaturesDict({
'categories': Sequence(Text(shape=(), dtype=string)),
'completion': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'language': Text(shape=(), dtype=string),
'signature': Text(shape=(), dtype=string),
'task_id': Text(shape=(), dtype=string),
'test_file': Text(shape=(), dtype=string),
'test_list': Sequence(Text(shape=(), dtype=string)),
'test_setup': Text(shape=(), dtype=string),
'title': Text(shape=(), dtype=string),
})
- مستندات ویژگی :
| ویژگی | کلاس | شکل | نوع D | توضیحات |
|---|---|---|---|---|
| FeaturesDict | ||||
| دسته بندی ها | دنباله (متن) | (هیچ،) | رشته | |
| تکمیل | متن | رشته | ||
| دستورالعمل | متن | رشته | ||
| زبان | متن | رشته | ||
| امضا | متن | رشته | ||
| task_id | متن | رشته | ||
| test_file | متن | رشته | ||
| test_list | دنباله (متن) | (هیچ،) | رشته | |
| test_setup | متن | رشته | ||
| عنوان | متن | رشته |
کلیدهای نظارت شده (به
as_superviseddoc مراجعه کنید):Noneشکل ( tfds.show_examples ): پشتیبانی نمی شود.
نقل قول :
@inproceedings{matton-etal-2024-leakage,
title = "On Leakage of Code Generation Evaluation Datasets",
author = "Matton, Alexandre and
Sherborne, Tom and
Aumiller, Dennis and
Tommasone, Elena and
Alizadeh, Milad and
He, Jingyi and
Ma, Raymond and
Voisin, Maxime and
Gilsenan-McMahon, Ellen and
Gall{\'e}, Matthias",
editor = "Al-Onaizan, Yaser and
Bansal, Mohit and
Chen, Yun-Nung",
booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.findings-emnlp.772/",
doi = "10.18653/v1/2024.findings-emnlp.772",
pages = "13215--13223",
}
lbpp/all (پیکربندی پیش فرض)
توضیحات پیکربندی : LBPP چند زبانه
حجم دانلود :
1.78 MiBحجم مجموعه داده :
4.30 MiBتقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 944 |
- مثالها ( tfds.as_dataframe ):
lbpp/چند زبانه
توضیحات پیکربندی : LBPP چند زبانه
حجم دانلود :
1.78 MiBحجم مجموعه داده :
4.30 MiBتقسیمات :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 944 |
- مثالها ( tfds.as_dataframe ):
lbpp/پیش فرض
توضیحات پیکربندی : Python LBPP
حجم دانلود :
279.90 KiBاندازه مجموعه داده :
627.04 KiBتقسیمات :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 162 |
- مثالها ( tfds.as_dataframe ):
lbpp/python
توضیحات پیکربندی : Python LBPP
حجم دانلود :
279.90 KiBاندازه مجموعه داده :
627.04 KiBتقسیمات :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 162 |
- مثالها ( tfds.as_dataframe ):
lbpp/cpp
توضیحات پیکربندی : C++ LBPP
حجم دانلود :
314.45 KiBحجم مجموعه داده :
761.87 KiBتقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 161 |
- مثالها ( tfds.as_dataframe ):
lbpp/go
توضیحات پیکربندی : برو LBPP
حجم دانلود :
317.09 KiBحجم مجموعه داده :
687.23 KiBتقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 161 |
- مثالها ( tfds.as_dataframe ):
lbpp/java
توضیحات پیکربندی : جاوا LBPP
حجم دانلود :
337.90 KiBاندازه مجموعه داده :
887.40 KiBتقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 158 |
- مثالها ( tfds.as_dataframe ):
lbpp/js
توضیحات پیکربندی : جاوا اسکریپت LBPP
حجم دانلود :
303.40 KiBاندازه مجموعه داده :
756.69 KiBتقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 153 |
- مثالها ( tfds.as_dataframe ):
lbpp/javascript
توضیحات پیکربندی : جاوا اسکریپت LBPP
حجم دانلود :
303.40 KiBاندازه مجموعه داده :
756.69 KiBتقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 153 |
- مثالها ( tfds.as_dataframe ):
lbpp/ زنگ
توضیحات پیکربندی : جاوا اسکریپت LBPP
حجم دانلود :
272.61 KiBاندازه مجموعه داده :
684.31 KiBتقسیم ها :
| تقسیم کنید | نمونه ها |
|---|---|
'test' | 149 |
- مثالها ( tfds.as_dataframe ):