answer_equivalence

• Açıklama :

Cevap Eşdeğerliği Veri Kümesi, SQuAD veri kümesindeki çeşitli modellerden model tahminlerine ilişkin insan derecelendirmelerini içerir. Derecelendirmeler, tahmin edilen cevabın altın cevaba "eşdeğer" olup olmadığını belirler (hem soruyu hem de bağlamı dikkate alarak).

Daha spesifik olarak, 'eşdeğer' ile, tahmin edilen cevabın en azından altın cevapla aynı bilgiyi içerdiğini ve gereksiz bilgi eklemediğini kastediyoruz. Veri kümesi şunlar için ek açıklamalar içerir: * SQuAD dev üzerinde BiDAF'tan tahminler * SQuAD dev üzerinde XLNet'ten tahminler * SQuAD dev üzerinde Luke'tan tahminler * SQuAD eğitimi, geliştirme ve test örnekleri üzerine Albert'ten tahminler

• Ana Sayfa : https://github.com/google-research-datasets/answer-equivalence-dataset

• Kaynak kodu : tfds.datasets.answer_equivalence.Builder

• sürümler :

  • 1.0.0 (varsayılan): İlk sürüm.

• İndirme boyutu : 45.86 MiB

• Veri kümesi boyutu : 47.24 MiB

• Otomatik önbelleğe alınmış ( belgeleme ): Evet

• bölmeler :

• Özellik yapısı :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• Özellik belgeleri :

• Denetlenen anahtarlar (Bkz as_supervised doc ): None

• Şekil ( tfds.show_examples ): Desteklenmiyor.

• Örnekler ( tfds.as_dataframe ):

• Alıntı :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}