उत्तर_समतुल्यता

• विवरण :

उत्तर तुल्यता डेटासेट में SQuAD डेटासेट पर कई मॉडलों से मॉडल भविष्यवाणियों पर मानव रेटिंग शामिल हैं। रेटिंग यह स्थापित करती हैं कि अनुमानित उत्तर सोने के उत्तर के 'समतुल्य' है (प्रश्न और संदर्भ दोनों को ध्यान में रखते हुए)।

अधिक विशेष रूप से, 'समतुल्य' से हमारा मतलब है कि अनुमानित उत्तर में कम से कम वही जानकारी होती है जो सोने के उत्तर में होती है और इसमें अनावश्यक जानकारी नहीं होती है। डेटासेट में निम्नलिखित के लिए एनोटेशन शामिल हैं: * SQuAD देव पर BiDAF से भविष्यवाणियां * SQuAD देव पर XLNet से भविष्यवाणियां * SQuAD देव पर ल्यूक से भविष्यवाणियां * SQuAD प्रशिक्षण, देव और परीक्षण उदाहरणों पर अल्बर्ट से भविष्यवाणियां

• मुखपृष्ठ : https://github.com/google-research-datasets/answer-equivalence-dataset

• स्रोत कोड : tfds.datasets.answer_equivalence.Builder

• संस्करण :

  • 1.0.0 (डिफ़ॉल्ट): प्रारंभिक रिलीज़।

• डाउनलोड आकार : 45.86 MiB

• डेटासेट का आकार : 47.24 MiB

• ऑटो-कैश्ड ( दस्तावेज़ीकरण ): हाँ

• विभाजन :

• फ़ीचर संरचना :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• फ़ीचर दस्तावेज़ीकरण :

• पर्यवेक्षित कुंजियाँ ( as_supervised doc देखें): None

• चित्र ( tfds.show_examples ): समर्थित नहीं है।

• उदाहरण ( tfds.as_dataframe ):

• उद्धरण :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}