• Description :

RealToxicityPrompts : évaluation de la dégénérescence neuronale toxique dans les modèles de langage

RealToxicityPrompts est un corpus d'invites en anglais (en particulier des débuts de phrases) de toxicité variable. Ces invites sont destinées à être données comme contextes à un modèle de langage autorégressif (c'est-à-dire GPT-2) et utilisées pour générer des complétions.

Plus de détails sont présentés dans le document original.

• Page d'accueil : https://github.com/allenai/real-toxicity-prompts

• Code source : tfds.datasets.real_toxicity_prompts.Builder

• Versions :

  • 1.0.0 (par défaut) : version initiale.

• Taille du téléchargement : 3.46 GiB

• Taille de l'ensemble de données : 81.22 MiB

• Mise en cache automatique ( documentation ) : Oui

• Divisions :

• Structure des fonctionnalités :

FeaturesDict({
    'begin': int32,
    'challenging': bool,
    'continuation': FeaturesDict({
        'flirtation': float32,
        'identity_attack': float32,
        'insult': float32,
        'profanity': float32,
        'severe_toxicity': float32,
        'sexually_explicit': float32,
        'text': Text(shape=(), dtype=string),
        'threat': float32,
        'toxicity': float32,
    }),
    'end': int32,
    'filename': Text(shape=(), dtype=string),
    'prompt': FeaturesDict({
        'flirtation': float32,
        'identity_attack': float32,
        'insult': float32,
        'profanity': float32,
        'severe_toxicity': float32,
        'sexually_explicit': float32,
        'text': Text(shape=(), dtype=string),
        'threat': float32,
        'toxicity': float32,
    }),
})

• Documentation des fonctionnalités :

• Clés supervisées (Voir doc as_supervised ) : None

• Figure ( tfds.show_examples ) : non pris en charge.

• Exemples ( tfds.as_dataframe ) :

• Citation :

@article{gehman2020realtoxicityprompts,
  title={Realtoxicityprompts: Evaluating neural toxic degeneration in language models},
  author={Gehman, Samuel and Gururangan, Suchin and Sap, Maarten and Choi, Yejin and Smith, Noah A},
  journal={arXiv preprint arXiv:2009.11462},
  year={2020}
}