• विवरण :

RealToxicityPrompts: भाषा मॉडल में तंत्रिका विषाक्त अध: पतन का मूल्यांकन

RealToxicityPrompts अलग-अलग विषाक्तता के अंग्रेजी संकेतों (विशेष रूप से वाक्य शुरुआत) का एक संग्रह है। ये संकेत एक ऑटोरेग्रेसिव भाषा मॉडल (यानी GPT-2) के संदर्भ के रूप में दिए जाने हैं और पूर्णता उत्पन्न करने के लिए उपयोग किए जाते हैं।

अधिक विवरण मूल पेपर में प्रस्तुत किए गए हैं।

• होमपेज : https://github.com/allenai/real-topsicity-prompts

• स्रोत कोड : tfds.datasets.real_toxicity_prompts.Builder

• संस्करण :

  • 1.0.0 (डिफ़ॉल्ट): प्रारंभिक रिलीज़।

• डाउनलोड आकार : 3.46 GiB

• डेटासेट का आकार : 81.22 MiB

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ

• विभाजन :

• फ़ीचर संरचना :

FeaturesDict({
    'begin': int32,
    'challenging': bool,
    'continuation': FeaturesDict({
        'flirtation': float32,
        'identity_attack': float32,
        'insult': float32,
        'profanity': float32,
        'severe_toxicity': float32,
        'sexually_explicit': float32,
        'text': Text(shape=(), dtype=string),
        'threat': float32,
        'toxicity': float32,
    }),
    'end': int32,
    'filename': Text(shape=(), dtype=string),
    'prompt': FeaturesDict({
        'flirtation': float32,
        'identity_attack': float32,
        'insult': float32,
        'profanity': float32,
        'severe_toxicity': float32,
        'sexually_explicit': float32,
        'text': Text(shape=(), dtype=string),
        'threat': float32,
        'toxicity': float32,
    }),
})

• फ़ीचर दस्तावेज़ीकरण :

• पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

• चित्र ( tfds.show_examples ): समर्थित नहीं है।

• उदाहरण ( tfds.as_dataframe ):

• उद्धरण :

@article{gehman2020realtoxicityprompts,
  title={Realtoxicityprompts: Evaluating neural toxic degeneration in language models},
  author={Gehman, Samuel and Gururangan, Suchin and Sap, Maarten and Choi, Yejin and Smith, Noah A},
  journal={arXiv preprint arXiv:2009.11462},
  year={2020}
}