lbpp

• Descrição :

Programação menos básica em Python é uma coleção de 161 problemas de programação acompanhados de testes de unidade. Eles foram criados com o objetivo de serem novos (não vazados no momento da criação) e mais difíceis do que conjuntos de dados semelhantes (por exemplo, HumanEval e MBPP). Pode servir como uma substituição imediata ou enriquecimento desses conjuntos de dados, uma vez que são estruturados de forma equivalente.

• Página inicial : https://aclanthology.org/2024.findings-emnlp.772/

• Código fonte : tfds.datasets.lbpp.Builder

• Versões :

  • 2.0.0 (padrão): Sem notas de versão.

• Armazenado em cache automaticamente ( documentação ): Sim

• Estrutura de recursos :

FeaturesDict({
    'categories': Sequence(Text(shape=(), dtype=string)),
    'completion': Text(shape=(), dtype=string),
    'instruction': Text(shape=(), dtype=string),
    'language': Text(shape=(), dtype=string),
    'signature': Text(shape=(), dtype=string),
    'task_id': Text(shape=(), dtype=string),
    'test_file': Text(shape=(), dtype=string),
    'test_list': Sequence(Text(shape=(), dtype=string)),
    'test_setup': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• Documentação de recursos :

• Chaves supervisionadas (consulte o documento as_supervised ): None

• Figura ( tfds.show_examples ): Não suportado.

• Citação :

@inproceedings{matton-etal-2024-leakage,
    title = "On Leakage of Code Generation Evaluation Datasets",
    author = "Matton, Alexandre  and
      Sherborne, Tom  and
      Aumiller, Dennis  and
      Tommasone, Elena  and
      Alizadeh, Milad  and
      He, Jingyi  and
      Ma, Raymond  and
      Voisin, Maxime  and
      Gilsenan-McMahon, Ellen  and
      Gall{\'e}, Matthias",
    editor = "Al-Onaizan, Yaser  and
      Bansal, Mohit  and
      Chen, Yun-Nung",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
    month = nov,
    year = "2024",
    address = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2024.findings-emnlp.772/",
    doi = "10.18653/v1/2024.findings-emnlp.772",
    pages = "13215--13223",
}

lbpp/all (configuração padrão)

• Descrição da configuração : LBPP multilíngue

• Tamanho do download : 1.78 MiB

• Tamanho do conjunto de dados : 4.30 MiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/multilíngue

• Descrição da configuração : LBPP multilíngue

• Tamanho do download : 1.78 MiB

• Tamanho do conjunto de dados : 4.30 MiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/padrão

• Descrição da configuração : Python LBPP

• Tamanho do download : 279.90 KiB

• Tamanho do conjunto de dados : 627.04 KiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/python

• Descrição da configuração : Python LBPP

• Tamanho do download : 279.90 KiB

• Tamanho do conjunto de dados : 627.04 KiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/cpp

• Descrição da configuração : C++ LBPP

• Tamanho do download : 314.45 KiB

• Tamanho do conjunto de dados : 761.87 KiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/go

• Descrição da configuração : Go LBPP

• Tamanho do download : 317.09 KiB

• Tamanho do conjunto de dados : 687.23 KiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/java

• Descrição da configuração : Java LBPP

• Tamanho do download : 337.90 KiB

• Tamanho do conjunto de dados : 887.40 KiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/js

• Descrição da configuração : JavaScript LBPP

• Tamanho do download : 303.40 KiB

• Tamanho do conjunto de dados : 756.69 KiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/javascript

• Descrição da configuração : JavaScript LBPP

• Tamanho do download : 303.40 KiB

• Tamanho do conjunto de dados : 756.69 KiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):

lbpp/ferrugem

• Descrição da configuração : JavaScript LBPP

• Tamanho do download : 272.61 KiB

• Tamanho do conjunto de dados : 684.31 KiB

• Divisões :

• Exemplos ( tfds.as_dataframe ):