• Descripción :

RealToxicityPrompts: Evaluación de la degeneración tóxica neuronal en modelos de lenguaje

RealToxicityPrompts es un corpus de indicaciones en inglés (específicamente comienzos de oraciones) de diversa toxicidad. Estas indicaciones deben brindarse como contextos para un modelo de lenguaje autorregresivo (es decir, GPT-2) y usarse para generar terminaciones.

Se presentan más detalles en el artículo original.

• Página de inicio : https://github.com/allnai/real-toxicity-prompts

• Código fuente : tfds.datasets.real_toxicity_prompts.Builder

• Versiones :

  • 1.0.0 (predeterminado): versión inicial.

• Tamaño de descarga : 3.46 GiB

• Tamaño del conjunto de datos : 81.22 MiB

• Almacenamiento en caché automático ( documentación ): Sí

• Divisiones :

• Estructura de características :

FeaturesDict({
    'begin': int32,
    'challenging': bool,
    'continuation': FeaturesDict({
        'flirtation': float32,
        'identity_attack': float32,
        'insult': float32,
        'profanity': float32,
        'severe_toxicity': float32,
        'sexually_explicit': float32,
        'text': Text(shape=(), dtype=string),
        'threat': float32,
        'toxicity': float32,
    }),
    'end': int32,
    'filename': Text(shape=(), dtype=string),
    'prompt': FeaturesDict({
        'flirtation': float32,
        'identity_attack': float32,
        'insult': float32,
        'profanity': float32,
        'severe_toxicity': float32,
        'sexually_explicit': float32,
        'text': Text(shape=(), dtype=string),
        'threat': float32,
        'toxicity': float32,
    }),
})

• Documentación de funciones :

• Claves supervisadas (ver documento as_supervised ): None

• Figura ( tfds.show_examples ): no compatible.

• Ejemplos ( tfds.as_dataframe ):

• Citación :

@article{gehman2020realtoxicityprompts,
  title={Realtoxicityprompts: Evaluating neural toxic degeneration in language models},
  author={Gehman, Samuel and Gururangan, Suchin and Sap, Maarten and Choi, Yejin and Smith, Noah A},
  journal={arXiv preprint arXiv:2009.11462},
  year={2020}
}