aska

  • Tanım :

ASQA, belirsiz gerçeklere dayalı sorulara odaklanan ilk uzun biçimli soru yanıtlama veri kümesidir. Önceki uzun biçimli yanıt veri kümelerinden farklı olarak, her soruya hem uzun biçimli yanıtlar hem de çıkarımlı soru-cevap çiftleri eklenmiştir ve bunların, oluşturulan pasajla yanıtlanması gerekir. Oluşturulan uzun biçimli bir yanıt, hem ROUGE hem de QA doğruluğu kullanılarak değerlendirilecektir. Bu değerlendirme ölçümlerinin insan muhakemesi ile iyi bir şekilde ilişkili olduğunu gösterdik. Bu veri deposunda ASQA veri kümesini değerlendirme koduyla birlikte yayınlıyoruz: <a href="https://github.com/google-research/language/tree/master/language/asqa">https://github.com/google-research/language/tree/master/language/asqa</a>

Bölmek Örnekler
'dev' 948
'train' 4.353
  • Özellik yapısı : 
FeaturesDict({
    'ambiguous_question': Text(shape=(), dtype=string),
    'annotations': Sequence({
        'knowledge': Sequence({
            'content': Text(shape=(), dtype=string),
            'wikipage': Text(shape=(), dtype=string),
        }),
        'long_answer': Text(shape=(), dtype=string),
    }),
    'qa_pairs': Sequence({
        'context': Text(shape=(), dtype=string),
        'question': Text(shape=(), dtype=string),
        'short_answers': Sequence(Text(shape=(), dtype=string)),
        'wikipage': Text(shape=(), dtype=string),
    }),
    'sample_id': int64,
    'wikipages': Sequence({
        'title': Text(shape=(), dtype=string),
        'url': Text(shape=(), dtype=string),
    }),
})
  • Özellik belgeleri :
Özellik Sınıf Şekil Dtipi Tanım
ÖzelliklerDict
belirsiz_soru Metin sicim AmbigQA'dan netleştirilmiş soru.
ek açıklamalar Sekans ASQA açıklayıcıları tarafından oluşturulan belirsiz soruya uzun biçimli yanıtlar.
ek açıklamalar/bilgi Sekans Ek bilgi parçalarının listesi.
ek açıklamalar/bilgi/içerik Metin sicim Vikipedi'den bir pasaj.
ek açıklamalar/bilgi/wiki sayfası Metin sicim Pasajın alındığı Wikipedia sayfasının başlığı.
ek açıklamalar/long_answer Metin sicim Dipnot.
qa_pairs Sekans Belirsizliği ortadan kaldırmak için kullanılan AmbigQA'dan Soru-Cevap çiftleri.
qa_pairs/bağlam Metin sicim Ek bağlam sağlandı.
qa_pairs/soru Metin sicim
qa_pairs/short_answers Sıra(Metin) (Hiçbiri,) sicim AmbigQA'dan gelen kısa yanıtların listesi.
qa_pairs/wikisayfası Metin sicim Ek içeriğin alındığı Wikipedia sayfasının başlığı.
örnek_kimliği Tensör int64
Viki sayfaları Sekans AmbigQA açıklayıcıları tarafından ziyaret edilen Wikipedia sayfalarının listesi.
wiki sayfaları/başlık Metin sicim Vikipedi sayfasının başlığı.
wiki sayfaları/url Metin sicim Vikipedi sayfasına bağlantı.
  • Alıntı : 
@misc{https://doi.org/10.48550/arxiv.2204.06092,
doi = {10.48550/ARXIV.2204.06092},
url = {https://arxiv.org/abs/2204.06092},
author = {Stelmakh, Ivan and Luan, Yi and Dhingra, Bhuwan and Chang, Ming-Wei},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {ASQA: Factoid Questions Meet Long-Form Answers},
publisher = {arXiv},
year = {2022},
copyright = {arXiv.org perpetual, non-exclusive license}
}