clinc_oos

• Açıklama :

Göreve yönelik iletişim sistemlerinin, bir sorgunun desteklenen amaç aralığının dışına çıktığını bilmesi gerekir, ancak mevcut metin sınıflandırma dercesi yalnızca her örneği kapsayan etiket kümelerini tanımlar. Kapsam dışı (OOS) sorguları, yani sistemin desteklenen amaçlarından herhangi birine girmeyen sorguları içeren yeni bir veri kümesi sunuyoruz. Modeller, çıkarım zamanındaki her sorgunun sistem tarafından desteklenen bir amaç sınıfına ait olduğunu varsayamayacağından, bu durum yeni bir zorluk teşkil eder. Veri setimiz ayrıca 10 alan üzerinde 150 niyet sınıfını kapsar ve üretim görevi odaklı bir aracının işlemesi gereken genişliği yakalar. Görev odaklı diyalog sistemlerinde metin sınıflandırmasını daha titiz ve gerçekçi bir şekilde kıyaslamanın bir yolunu sunar.

• Ek Belgeler : north_east Belgeleri Keşfedin

• Ana Sayfa : https://github.com/clinc/oos-eval/

• Kaynak kodu : tfds.text.ClincOOS

• sürümler :

  • 0.1.0 (varsayılan): Sürüm notu yok.

• İndirme boyutu : 256.01 KiB

• Veri kümesi boyutu : 3.40 MiB

• Otomatik önbelleğe alınmış ( belgeleme ): Evet

• bölmeler :

• Özellik yapısı :

FeaturesDict({
    'domain': int32,
    'domain_name': Text(shape=(), dtype=string),
    'intent': int32,
    'intent_name': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
})

• Özellik belgeleri :

• Denetlenen anahtarlar (Bkz as_supervised doc ): ('text', 'intent')

• Şekil ( tfds.show_examples ): Desteklenmiyor.

• Örnekler ( tfds.as_dataframe ):

• Alıntı :

@inproceedings{larson-etal-2019-evaluation,
    title = "An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction",
    author = "Larson, Stefan  and
      Mahendran, Anish  and
      Peper, Joseph J.  and
      Clarke, Christopher  and
      Lee, Andrew  and
      Hill, Parker  and
      Kummerfeld, Jonathan K.  and
      Leach, Kevin  and
      Laurenzano, Michael A.  and
      Tang, Lingjia  and
      Mars, Jason",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)",
    month = nov,
    year = "2019",
    address = "Hong Kong, China",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/D19-1131",
    doi = "10.18653/v1/D19-1131",
    pages = "1311--1316",
}