answer_equivalence

• คำอธิบาย :

ชุดข้อมูลความเท่าเทียมกันของคำตอบประกอบด้วยการให้คะแนนโดยมนุษย์ในการคาดคะเนแบบจำลองจากแบบจำลองต่างๆ ในชุดข้อมูล SQuAD การให้คะแนนกำหนดว่าคำตอบที่คาดคะเนนั้น 'เทียบเท่า' กับคำตอบทองคำหรือไม่ (พิจารณาทั้งคำถามและบริบท)

โดยเฉพาะอย่างยิ่ง โดยคำว่า 'เทียบเท่า' เราหมายความว่าคำตอบที่คาดคะเนมีข้อมูลอย่างน้อยเหมือนกับคำตอบทองคำ และไม่เพิ่มข้อมูลที่ไม่จำเป็น ชุดข้อมูลประกอบด้วยคำอธิบายประกอบสำหรับ: * การคาดคะเนจาก BiDAF บน SQuAD dev * การคาดคะเนจาก XLNet บน SQuAD dev * การคาดคะเนจาก Luke บน SQuAD dev * การคาดคะเนจาก Albert ในการฝึกอบรม SQuAD ผู้พัฒนา และตัวอย่างการทดสอบ

• หน้าแรก : https://github.com/google-research-datasets/answer-equivalence-dataset

• ซอร์สโค้ด : tfds.datasets.answer_equivalence.Builder

• รุ่น :

  • 1.0.0 (ค่าเริ่มต้น): การเปิดตัวครั้งแรก

• ขนาดการดาวน์โหลด : 45.86 MiB

• ขนาดชุดข้อมูล : 47.24 MiB

• แคชอัตโนมัติ ( เอกสาร ): ใช่

• แยก :

• โครงสร้างคุณลักษณะ :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• เอกสารคุณสมบัติ :

• คีย์ภายใต้การดูแล (ดู as_supervised doc ): None

• รูปภาพ ( tfds.show_examples ): ไม่รองรับ

• ตัวอย่าง ( tfds.as_dataframe ):

• การอ้างอิง :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}