- 説明:
Less Basic Python Programming は、単体テストを伴う 161 のプログラミング問題を集めたものです。これらは、新鮮であること (作成時に漏洩していないこと) と、同様のデータセット (HumanEval や MBPP など) よりも難しいことを目的として作成されました。これらのデータセットは同等の方法で構造化されているため、これらのデータセットのドロップイン置換または強化として機能します。
ソースコード:
tfds.datasets.lbpp.Builder
バージョン:
-
2.0.0
(デフォルト): リリース ノートはありません。
-
自動キャッシュ(ドキュメント): はい
機能の構造:
FeaturesDict({
'categories': Sequence(Text(shape=(), dtype=string)),
'completion': Text(shape=(), dtype=string),
'instruction': Text(shape=(), dtype=string),
'language': Text(shape=(), dtype=string),
'signature': Text(shape=(), dtype=string),
'task_id': Text(shape=(), dtype=string),
'test_file': Text(shape=(), dtype=string),
'test_list': Sequence(Text(shape=(), dtype=string)),
'test_setup': Text(shape=(), dtype=string),
'title': Text(shape=(), dtype=string),
})
- 機能ドキュメント:
特徴 | クラス | 形 | Dタイプ | 説明 |
---|---|---|---|---|
特徴辞書 | ||||
カテゴリ | シーケンス(テキスト) | (なし、) | 弦 | |
完了 | 文章 | 弦 | ||
命令 | 文章 | 弦 | ||
言語 | 文章 | 弦 | ||
サイン | 文章 | 弦 | ||
タスクID | 文章 | 弦 | ||
テストファイル | 文章 | 弦 | ||
テストリスト | シーケンス(テキスト) | (なし、) | 弦 | |
テストセットアップ | 文章 | 弦 | ||
タイトル | 文章 | 弦 |
監視キー(
as_supervised
docを参照):None
図( tfds.show_examples ): サポートされていません。
引用:
@inproceedings{matton-etal-2024-leakage,
title = "On Leakage of Code Generation Evaluation Datasets",
author = "Matton, Alexandre and
Sherborne, Tom and
Aumiller, Dennis and
Tommasone, Elena and
Alizadeh, Milad and
He, Jingyi and
Ma, Raymond and
Voisin, Maxime and
Gilsenan-McMahon, Ellen and
Gall{\'e}, Matthias",
editor = "Al-Onaizan, Yaser and
Bansal, Mohit and
Chen, Yun-Nung",
booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
month = nov,
year = "2024",
address = "Miami, Florida, USA",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2024.findings-emnlp.772/",
doi = "10.18653/v1/2024.findings-emnlp.772",
pages = "13215--13223",
}
lbpp/all (デフォルト設定)
構成の説明: 多言語 LBPP
ダウンロードサイズ:
1.78 MiB
データセットのサイズ:
4.30 MiB
分割:
スプリット | 例 |
---|---|
'test' | 944 |
- 例( tfds.as_dataframe ):
lbpp/多言語対応
構成の説明: 多言語 LBPP
ダウンロードサイズ:
1.78 MiB
データセットのサイズ:
4.30 MiB
分割:
スプリット | 例 |
---|---|
'test' | 944 |
- 例( tfds.as_dataframe ):
lbpp/デフォルト
構成の説明: Python LBPP
ダウンロードサイズ:
279.90 KiB
データセットのサイズ:
627.04 KiB
分割:
スプリット | 例 |
---|---|
'test' | 162 |
- 例( tfds.as_dataframe ):
lbpp/Python
構成の説明: Python LBPP
ダウンロードサイズ:
279.90 KiB
データセットのサイズ:
627.04 KiB
分割:
スプリット | 例 |
---|---|
'test' | 162 |
- 例( tfds.as_dataframe ):
lbpp/cpp
構成の説明: C++ LBPP
ダウンロードサイズ:
314.45 KiB
データセットのサイズ:
761.87 KiB
分割:
スプリット | 例 |
---|---|
'test' | 161 |
- 例( tfds.as_dataframe ):
lbpp/号
設定の説明: Go LBPP
ダウンロードサイズ:
317.09 KiB
データセットのサイズ:
687.23 KiB
分割:
スプリット | 例 |
---|---|
'test' | 161 |
- 例( tfds.as_dataframe ):
lbpp/java
構成の説明: Java LBPP
ダウンロードサイズ:
337.90 KiB
データセットのサイズ:
887.40 KiB
分割:
スプリット | 例 |
---|---|
'test' | 158 |
- 例( tfds.as_dataframe ):
lbpp/js
構成の説明: JavaScript LBPP
ダウンロードサイズ:
303.40 KiB
データセットのサイズ:
756.69 KiB
分割:
スプリット | 例 |
---|---|
'test' | 153 |
- 例( tfds.as_dataframe ):
lbpp/JavaScript
構成の説明: JavaScript LBPP
ダウンロードサイズ:
303.40 KiB
データセットのサイズ:
756.69 KiB
分割:
スプリット | 例 |
---|---|
'test' | 153 |
- 例( tfds.as_dataframe ):
lbpp/錆
構成の説明: JavaScript LBPP
ダウンロードサイズ:
272.61 KiB
データセットのサイズ:
684.31 KiB
分割:
スプリット | 例 |
---|---|
'test' | 149 |
- 例( tfds.as_dataframe ):