answer_equivalence

• توضیحات :

مجموعه داده معادل پاسخ شامل رتبه‌بندی‌های انسانی در پیش‌بینی مدل از چندین مدل در مجموعه داده SQuAD است. رتبه‌بندی‌ها تعیین می‌کنند که آیا پاسخ پیش‌بینی‌شده «معادل» با پاسخ طلاست (با در نظر گرفتن سؤال و زمینه).

به طور خاص، منظور ما از «معادل» این است که پاسخ پیش‌بینی‌شده حداقل اطلاعاتی مشابه با پاسخ طلا دارد و اطلاعات اضافی اضافه نمی‌کند. مجموعه داده حاوی حاشیه نویسی برای: * پیش بینی های BiDAF در SQuAD dev * پیش بینی های XLNet در SQuAD dev * پیش بینی های لوک در SQuAD dev * پیش بینی های آلبرت در آموزش SQuAD، توسعه دهنده و نمونه های تست

• صفحه اصلی : https://github.com/google-research-datasets/answer-equivalence-dataset

• کد منبع : tfds.datasets.answer_equivalence.Builder

• نسخه ها :

  • 1.0.0 (پیش فرض): انتشار اولیه.

• حجم دانلود : 45.86 MiB

• حجم مجموعه داده : 47.24 MiB

• ذخیره خودکار ( اسناد ): بله

• تقسیمات :

• ساختار ویژگی :

FeaturesDict({
    'candidate': Text(shape=(), dtype=string),
    'context': Text(shape=(), dtype=string),
    'gold_index': int32,
    'qid': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'question_1': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_2': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_3': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'question_4': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'reference': Text(shape=(), dtype=string),
    'score': float32,
})

• مستندات ویژگی :

• کلیدهای نظارت شده (به as_supervised doc مراجعه کنید): None

• شکل ( tfds.show_examples ): پشتیبانی نمی شود.

• مثال‌ها ( tfds.as_dataframe ):

• نقل قول :

@article{bulian-etal-2022-tomayto,
      title={Tomayto, Tomahto. Beyond Token-level Answer Equivalence for Question Answering Evaluation},
      author={Jannis Bulian and Christian Buck and Wojciech Gajewski and Benjamin Boerschinger and Tal Schuster},
      year={2022},
      eprint={2202.07654},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}