jawaban_kesetaraan

• Deskripsi :

Dataset Kesetaraan Jawaban berisi peringkat manusia pada prediksi model dari beberapa model pada dataset SQuAD. Peringkat menentukan apakah jawaban yang diprediksi 'setara' dengan jawaban emas (dengan mempertimbangkan pertanyaan dan konteks).

Lebih khusus lagi, dengan 'setara' kami maksudkan bahwa jawaban yang diprediksi berisi setidaknya informasi yang sama dengan jawaban emas dan tidak menambahkan informasi yang berlebihan. Kumpulan data berisi anotasi untuk: * prediksi dari BiDAF di SQuAD dev * prediksi dari XLNet di SQuAD dev * prediksi dari Luke di SQuAD dev * prediksi dari Albert pada contoh pelatihan, pengembangan, dan pengujian SQuAD

• Beranda : https://github.com/google-research-datasets/answer-equivalence-dataset

• Kode sumber : tfds.datasets.answer_equivalence.Builder

• Versi :

  • 1.0.0 (default): Rilis awal.

• Ukuran unduhan : 45.86 MiB

• Ukuran dataset : 47.24 MiB

• Di-cache otomatis ( dokumentasi ): Ya

• Perpecahan :

• Struktur fitur :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• Dokumentasi fitur :

• Kunci yang diawasi (Lihat as_supervised doc ): None

• Gambar ( tfds.show_examples ): Tidak didukung.

• Contoh ( tfds.as_dataframe ):

• Kutipan :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}