ويكي 40 ب

• الوصف :

نص التنظيف لأكثر من 40 إصدارًا من صفحات ويكيبيديا يتوافق مع الكيانات. تحتوي مجموعات البيانات على تقسيمات تدريب/تطوير/اختبار لكل لغة. يتم تنظيف مجموعة البيانات عن طريق تصفية الصفحات لإزالة صفحات التوضيح، وصفحات إعادة التوجيه، والصفحات المحذوفة، والصفحات غير المتعلقة بالكيان. يحتوي كل مثال على معرف ويكي بيانات الكيان، ومقالة ويكيبيديا الكاملة بعد معالجة الصفحة التي تزيل الأقسام غير المتعلقة بالمحتوى والكائنات المنظمة. يمكن العثور على نماذج اللغة التي تم تدريبها على هذه المجموعة - بما في ذلك 41 نموذجًا أحادي اللغة ونموذجين متعددي اللغات - على https://tfhub.dev/google/collections/wiki40b-lm/1

• وثائق إضافية : استكشاف الأوراق باستخدام الكود north_east

• الصفحة الرئيسية : https://research.google/pubs/pub49029/

• كود المصدر : tfds.text.Wiki40b

• الإصدارات :

  • 1.3.0 (افتراضي): لا توجد ملاحظات الإصدار.

• حجم التحميل : Unknown size

• هيكل الميزة :

FeaturesDict({
    'text': Text(shape=(), dtype=string),
    'version_id': Text(shape=(), dtype=string),
    'wikidata_id': Text(shape=(), dtype=string),
})

• وثائق الميزة :

• المفاتيح الخاضعة للإشراف (راجع as_supervised doc ): None

• الشكل ( tfds.show_examples ): غير مدعوم.

• الاقتباس :

@inproceedings{49029,
title = {Wiki-40B: Multilingual Language Model Dataset},
author = {Mandy Guo and Zihang Dai and Denny Vrandecic and Rami Al-Rfou},
year = {2020},
booktitle   = {LREC 2020}
}

wiki40b/en (التكوين الافتراضي)

• وصف التكوين : مجموعة بيانات Wiki40B لـ en.

• حجم مجموعة البيانات : 9.91 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/ar

• وصف التكوين : مجموعة بيانات Wiki40B لـ ar.

• حجم مجموعة البيانات : 833.20 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/zh-cn

• وصف التكوين : مجموعة بيانات Wiki40B لـ zh-cn.

• حجم مجموعة البيانات : 985.53 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/zh-tw

• وصف التكوين : مجموعة بيانات Wiki40B لـ zh-tw.

• حجم مجموعة البيانات : 986.45 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/nl

• وصف التكوين : مجموعة بيانات Wiki40B لـ nl.

• حجم مجموعة البيانات : 961.82 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/الاب

• وصف التكوين : مجموعة بيانات Wiki40B لـ fr.

• حجم مجموعة البيانات : 3.37 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/دي

• وصف التكوين : مجموعة بيانات Wiki40B لـ de.

• حجم مجموعة البيانات : 4.78 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/it

• وصف التكوين : مجموعة بيانات Wiki40B الخاصة به.

• حجم مجموعة البيانات : 2.00 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/ja

• وصف التكوين : مجموعة بيانات Wiki40B لـ ja.

• حجم مجموعة البيانات : 2.19 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/كو

• وصف التكوين : مجموعة بيانات Wiki40B لـ ko.

• حجم مجموعة البيانات : 453.98 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/pl

• وصف التكوين : مجموعة بيانات Wiki40B لـ pl.

• حجم مجموعة البيانات : 1.03 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/pt

• وصف التكوين : مجموعة بيانات Wiki40B لـ pt.

• حجم مجموعة البيانات : 1.08 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/ru

• وصف التكوين : مجموعة بيانات Wiki40B لـ ru.

• حجم مجموعة البيانات : 4.13 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/إس

• وصف التكوين : مجموعة بيانات Wiki40B لـ es.

• حجم مجموعة البيانات : 2.70 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/th

• وصف التكوين : مجموعة بيانات Wiki40B لـ th.

• حجم مجموعة البيانات : 326.29 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/tr

• وصف التكوين : مجموعة بيانات Wiki40B لـ tr.

• حجم مجموعة البيانات : 308.87 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/بج

• وصف التكوين : مجموعة بيانات Wiki40B لـ bg.

• حجم مجموعة البيانات : 433.20 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/ca

• وصف التكوين : مجموعة بيانات Wiki40B لـ ca.

• حجم مجموعة البيانات : 753.00 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/cs

• وصف التكوين : مجموعة بيانات Wiki40B لـ cs.

• حجم مجموعة البيانات : 631.84 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/دا

• وصف التكوين : مجموعة بيانات Wiki40B لـ da.

• حجم مجموعة البيانات : 240.51 MiB

• تخزين مؤقت تلقائي ( الوثائق ): نعم (اختبار، التحقق من الصحة)، فقط عندما تكون shuffle_files=False (تدريب)

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/el

• وصف التكوين : مجموعة بيانات Wiki40B لـ el.

• حجم مجموعة البيانات : 524.77 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/وآخرون

• وصف التكوين : مجموعة بيانات Wiki40B لـ et.

• حجم مجموعة البيانات : 184.07 MiB

• تخزين مؤقت تلقائي ( الوثائق ): نعم (اختبار، التحقق من الصحة)، فقط عندما تكون shuffle_files=False (تدريب)

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/fa

• وصف التكوين : مجموعة بيانات Wiki40B لـ fa.

• حجم مجموعة البيانات : 482.55 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/fi

• وصف التكوين : مجموعة بيانات Wiki40B لـ fi.

• حجم مجموعة البيانات : 534.13 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/هي

• وصف التكوين : مجموعة بيانات Wiki40B له.

• حجم مجموعة البيانات : 869.51 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/مرحبا

• وصف التكوين : مجموعة بيانات Wiki40B لـ hi.

• حجم مجموعة البيانات : 277.56 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/ساعة

• وصف التكوين : مجموعة بيانات Wiki40B لـ hr.

• حجم مجموعة البيانات : 235.58 MiB

• تخزين مؤقت تلقائي ( الوثائق ): نعم (اختبار، التحقق من الصحة)، فقط عندما تكون shuffle_files=False (تدريب)

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/هو

• وصف التكوين : مجموعة بيانات Wiki40B لـ hu.

• حجم مجموعة البيانات : 634.25 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/معرف

• وصف التكوين : مجموعة بيانات Wiki40B للمعرف.

• حجم مجموعة البيانات : 334.06 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/لتر

• وصف التكوين : مجموعة بيانات Wiki40B لـ lt.

• حجم مجموعة البيانات : 140.46 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/lv

• وصف التكوين : مجموعة بيانات Wiki40B للمستوى lv.

• حجم مجموعة البيانات : 80.07 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/ مللي ثانية

• وصف التكوين : مجموعة بيانات Wiki40B لـ ms.

• حجم مجموعة البيانات : 142.49 MiB

• تخزين مؤقت تلقائي ( الوثائق ): نعم (اختبار، التحقق من الصحة)، فقط عندما تكون shuffle_files=False (تدريب)

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/لا

• وصف التكوين : مجموعة بيانات Wiki40B للرقم.

• حجم مجموعة البيانات : 382.03 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/ro

• وصف التكوين : مجموعة بيانات Wiki40B لـ ro.

• حجم مجموعة البيانات : 319.68 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/sk

• وصف التكوين : مجموعة بيانات Wiki40B لـ sk.

• حجم مجموعة البيانات : 170.20 MiB

• تخزين مؤقت تلقائي ( الوثائق ): نعم (اختبار، التحقق من الصحة)، فقط عندما تكون shuffle_files=False (تدريب)

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/sl

• وصف التكوين : مجموعة بيانات Wiki40B لـ sl.

• حجم مجموعة البيانات : 157.38 MiB

• تخزين مؤقت تلقائي ( الوثائق ): نعم (اختبار، التحقق من الصحة)، فقط عندما تكون shuffle_files=False (تدريب)

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/ريال

• وصف التكوين : مجموعة بيانات Wiki40B لـ sr.

• حجم مجموعة البيانات : 582.20 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/sv

• وصف التكوين : مجموعة بيانات Wiki40B لـ sv.

• حجم مجموعة البيانات : 613.62 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/tl

• وصف التكوين : مجموعة بيانات Wiki40B لـ tl.

• حجم مجموعة البيانات : 29.04 MiB

• التخزين المؤقت التلقائي ( الوثائق ): نعم

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

ويكي40ب/المملكة المتحدة

• وصف التكوين : مجموعة بيانات Wiki40B للمملكة المتحدة.

• حجم مجموعة البيانات : 1.67 GiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):

wiki40b/السادس

• وصف التكوين : مجموعة بيانات Wiki40B لـ vi.

• حجم مجموعة البيانات : 497.70 MiB

• التخزين المؤقت التلقائي ( الوثائق ): لا

• الإنشقاقات :

• أمثلة ( tfds.as_dataframe ):