lbpp

• Descripción :

La programación Python menos básica es una colección de 161 problemas de programación acompañados de pruebas unitarias. Fueron creados con el objetivo de ser nuevos (no filtrados en el momento de la creación) y más difíciles que conjuntos de datos similares (por ejemplo, HumanEval y MBPP). Puede servir como reemplazo o enriquecimiento directo de esos conjuntos de datos, ya que están estructurados de manera equivalente.

• Página de inicio : https://aclanthology.org/2024.findings-emnlp.772/

• Código fuente : tfds.datasets.lbpp.Builder

• Versiones :

  • 2.0.0 (predeterminado): sin notas de la versión.

• Almacenamiento en caché automático ( documentación ): Sí

• Estructura de características :

FeaturesDict({
    'categories': Sequence(Text(shape=(), dtype=string)),
    'completion': Text(shape=(), dtype=string),
    'instruction': Text(shape=(), dtype=string),
    'language': Text(shape=(), dtype=string),
    'signature': Text(shape=(), dtype=string),
    'task_id': Text(shape=(), dtype=string),
    'test_file': Text(shape=(), dtype=string),
    'test_list': Sequence(Text(shape=(), dtype=string)),
    'test_setup': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• Documentación de funciones :

• Claves supervisadas (ver documento as_supervised ): None

• Figura ( tfds.show_examples ): no compatible.

• Cita :

@inproceedings{matton-etal-2024-leakage,
    title = "On Leakage of Code Generation Evaluation Datasets",
    author = "Matton, Alexandre  and
      Sherborne, Tom  and
      Aumiller, Dennis  and
      Tommasone, Elena  and
      Alizadeh, Milad  and
      He, Jingyi  and
      Ma, Raymond  and
      Voisin, Maxime  and
      Gilsenan-McMahon, Ellen  and
      Gall{\'e}, Matthias",
    editor = "Al-Onaizan, Yaser  and
      Bansal, Mohit  and
      Chen, Yun-Nung",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.findings-emnlp.772/",
    doi = "10.18653/v1/2024.findings-emnlp.772",
    pages = "13215--13223",
}

lbpp/all (configuración predeterminada)

• Descripción de la configuración : LBPP multilingüe

• Tamaño de descarga : 1.78 MiB

• Tamaño del conjunto de datos : 4.30 MiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/multilingüe

• Descripción de la configuración : LBPP multilingüe

• Tamaño de descarga : 1.78 MiB

• Tamaño del conjunto de datos : 4.30 MiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/predeterminado

• Descripción de la configuración : Python LBPP

• Tamaño de descarga : 279.90 KiB

• Tamaño del conjunto de datos : 627.04 KiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/python

• Descripción de la configuración : Python LBPP

• Tamaño de descarga : 279.90 KiB

• Tamaño del conjunto de datos : 627.04 KiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/cpp

• Descripción de la configuración : C++ LBPP

• Tamaño de descarga : 314.45 KiB

• Tamaño del conjunto de datos : 761.87 KiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/ir

• Descripción de la configuración : Ir LBPP

• Tamaño de descarga : 317.09 KiB

• Tamaño del conjunto de datos : 687.23 KiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/java

• Descripción de la configuración : Java LBPP

• Tamaño de descarga : 337.90 KiB

• Tamaño del conjunto de datos : 887.40 KiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/js

• Descripción de la configuración : JavaScript LBPP

• Tamaño de descarga : 303.40 KiB

• Tamaño del conjunto de datos : 756.69 KiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/javascript

• Descripción de la configuración : JavaScript LBPP

• Tamaño de descarga : 303.40 KiB

• Tamaño del conjunto de datos : 756.69 KiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):

lbpp/óxido

• Descripción de la configuración : JavaScript LBPP

• Tamaño de descarga : 272.61 KiB

• Tamaño del conjunto de datos : 684.31 KiB

• Divisiones :

• Ejemplos ( tfds.as_dataframe ):