- คำอธิบาย :
การเขียนโปรแกรม Python แบบ Less Basic คือชุดของปัญหาการเขียนโปรแกรม 161 รายการพร้อมการทดสอบหน่วย สร้างขึ้นโดยมีจุดประสงค์เพื่อให้มีความสดใหม่ (ไม่รั่วไหลในขณะที่สร้าง) และยากกว่าชุดข้อมูลที่คล้ายคลึงกัน (เช่น HumanEval และ MBPP) สามารถทำหน้าที่เป็นการแทนที่แบบดรอปอินหรือการเพิ่มคุณค่าของชุดข้อมูลเหล่านั้นได้เนื่องจากมีโครงสร้างในลักษณะที่เท่าเทียมกัน
ซอร์สโค้ด :
tfds.datasets.lbpp.Builderรุ่น :
-
2.0.0(ค่าเริ่มต้น): ไม่มีบันทึกประจำรุ่น
-
แคชอัตโนมัติ ( เอกสาร ): ใช่
โครงสร้างคุณสมบัติ :
FeaturesDict({
'categories': Sequence(Text(shape=(), dtype=string)),
'completion': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'language': Text(shape=(), dtype=string),
'signature': Text(shape=(), dtype=string),
'task_id': Text(shape=(), dtype=string),
'test_file': Text(shape=(), dtype=string),
'test_list': Sequence(Text(shape=(), dtype=string)),
'test_setup': Text(shape=(), dtype=string),
'title': Text(shape=(), dtype=string),
})
- เอกสารคุณสมบัติ :
| คุณสมบัติ | ระดับ | รูปร่าง | ประเภทD | คำอธิบาย |
|---|---|---|---|---|
| คุณสมบัติDict | ||||
| หมวดหมู่ | ลำดับ(ข้อความ) | (ไม่มี,) | เชือก | |
| เสร็จสิ้น | ข้อความ | เชือก | ||
| คำแนะนำ | ข้อความ | เชือก | ||
| ภาษา | ข้อความ | เชือก | ||
| ลายเซ็น | ข้อความ | เชือก | ||
| งาน_id | ข้อความ | เชือก | ||
| test_file | ข้อความ | เชือก | ||
| ทดสอบ_รายการ | ลำดับ(ข้อความ) | (ไม่มี,) | เชือก | |
| ทดสอบ_การตั้งค่า | ข้อความ | เชือก | ||
| ชื่อ | ข้อความ | เชือก |
คีย์ภายใต้การดูแล (ดู
as_superviseddoc ):Noneรูปภาพ ( tfds.show_examples ): ไม่รองรับ
การอ้างอิง :
@inproceedings{matton-etal-2024-leakage,
title = "On Leakage of Code Generation Evaluation Datasets",
author = "Matton, Alexandre and
Sherborne, Tom and
Aumiller, Dennis and
Tommasone, Elena and
Alizadeh, Milad and
He, Jingyi and
Ma, Raymond and
Voisin, Maxime and
Gilsenan-McMahon, Ellen and
Gall{\'e}, Matthias",
editor = "Al-Onaizan, Yaser and
Bansal, Mohit and
Chen, Yun-Nung",
booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.findings-emnlp.772/",
doi = "10.18653/v1/2024.findings-emnlp.772",
pages = "13215--13223",
}
lbpp/ทั้งหมด (การกำหนดค่าเริ่มต้น)
คำอธิบายการกำหนดค่า : LBPP หลายภาษา
ขนาดดาวน์โหลด :
1.78 MiBขนาดชุดข้อมูล :
4.30 MiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 944 |
- ตัวอย่าง ( tfds.as_dataframe ):
lbpp/หลายภาษา
คำอธิบายการกำหนดค่า : LBPP หลายภาษา
ขนาดดาวน์โหลด :
1.78 MiBขนาดชุดข้อมูล :
4.30 MiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 944 |
- ตัวอย่าง ( tfds.as_dataframe ):
ปอนด์พีพี/ค่าเริ่มต้น
คำอธิบายการกำหนดค่า : Python LBPP
ขนาดดาวน์โหลด :
279.90 KiBขนาดชุดข้อมูล :
627.04 KiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 162 |
- ตัวอย่าง ( tfds.as_dataframe ):
lbpp/หลาม
คำอธิบายการกำหนดค่า : Python LBPP
ขนาดดาวน์โหลด :
279.90 KiBขนาดชุดข้อมูล :
627.04 KiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 162 |
- ตัวอย่าง ( tfds.as_dataframe ):
ปอนด์พีพี/ซีพีพี
คำอธิบายการกำหนดค่า : C ++ LBPP
ขนาดการดาวน์โหลด :
314.45 KiBขนาดชุดข้อมูล :
761.87 KiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 161 |
- ตัวอย่าง ( tfds.as_dataframe ):
ปอนด์พีพี/ไป
คำอธิบายการกำหนดค่า : ไปที่ LBPP
ขนาดการดาวน์โหลด :
317.09 KiBขนาดชุดข้อมูล :
687.23 KiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 161 |
- ตัวอย่าง ( tfds.as_dataframe ):
lbpp/java
คำอธิบายการกำหนดค่า : Java LBPP
ขนาดการดาวน์โหลด :
337.90 KiBขนาดชุดข้อมูล :
887.40 KiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 158 |
- ตัวอย่าง ( tfds.as_dataframe ):
lbpp/js
คำอธิบายการกำหนดค่า : JavaScript LBPP
ขนาดการดาวน์โหลด :
303.40 KiBขนาดชุดข้อมูล :
756.69 KiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 153 |
- ตัวอย่าง ( tfds.as_dataframe ):
lbpp/จาวาสคริปต์
คำอธิบายการกำหนดค่า : JavaScript LBPP
ขนาดการดาวน์โหลด :
303.40 KiBขนาดชุดข้อมูล :
756.69 KiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 153 |
- ตัวอย่าง ( tfds.as_dataframe ):
ปอนด์พีพี/สนิม
คำอธิบายการกำหนดค่า : JavaScript LBPP
ขนาดดาวน์โหลด :
272.61 KiBขนาดชุดข้อมูล :
684.31 KiBแยก :
| แยก | ตัวอย่าง |
|---|---|
'test' | 149 |
- ตัวอย่าง ( tfds.as_dataframe ):