xtreme_s

• Описание :

FLEURS — это речевая версия теста машинного перевода FLORES, охватывающая 2000 n-сторонних параллельных предложений на n=102 языках. XTREME-S охватывает четыре семейства задач: распознавание речи, классификацию, перевод речи в текст и извлечение. Охватывая 102 языка из более чем 10 языковых семей, 3 различных областей и 4 семейств задач, XTREME-S призван упростить оценку многоязычного речевого представления, а также стимулировать исследования в области «универсального» обучения речевому представлению.

В этой версии предоставляется только набор данных FLEURS, который охватывает распознавание речи и перевод речи в текст.

• Описание конфигурации : FLEURS — это речевая версия теста машинного перевода FLORES, охватывающая 2000 n-сторонних параллельных предложений на n = 102 языках.

• Домашняя страница : https://arxiv.org/abs/2205.12446 .

• Исходный код : tfds.audio.xtreme_s.XtremeS

• Версии :

  • 2.0.0 (по умолчанию): первоначальный выпуск на TFDS, только для FLEURS. Назван в соответствии с версией 2.0.0 на Huggingface, которая имеет те же данные FLEURS ( https://huggingface.co/datasets/google/xtreme_s ).

• Автокэширование ( документация ): Нет

• Структура функции :

FeaturesDict({
    'audio': Audio(shape=(None,), dtype=int64),
    'gender': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'id': Scalar(shape=(), dtype=int32, description=Source text identifier, consistent across all languages to keep n-way parallelism of translations. Since each transcription may be spoken by multiple speakers, within each language multiple examples will also share the same id.),
    'lang_group_id': ClassLabel(shape=(), dtype=int64, num_classes=7),
    'lang_id': ClassLabel(shape=(), dtype=int64, num_classes=102),
    'language': Text(shape=(), dtype=string),
    'num_samples': Scalar(shape=(), dtype=int32, description=Total number of frames in the audio),
    'path': string,
    'raw_transcription': Text(shape=(), dtype=string),
    'transcription': Text(shape=(), dtype=string),
})

• Функциональная документация :

• Контролируемые ключи (см. документ as_supervised ): ('audio', 'transcription')

• Рисунок ( tfds.show_examples ): не поддерживается.

• Цитата :

@article{fleurs2022arxiv,
  title = {FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech},
  author = {Conneau, Alexis and Ma, Min and Khanuja, Simran and Zhang, Yu and Axelrod, Vera and Dalmia, Siddharth and Riesa, Jason and Rivera, Clara and Bapna, Ankur},
  journal={arXiv preprint arXiv:2205.12446},
  url = {https://arxiv.org/abs/2205.12446},
  year = {2022},
}
@article{conneau2022xtreme,
  title={XTREME-S: Evaluating Cross-lingual Speech Representations},
  author={Conneau, Alexis and Bapna, Ankur and Zhang, Yu and Ma, Min and von Platen, Patrick and Lozhkov, Anton and Cherry, Colin and Jia, Ye and Rivera, Clara and Kale, Mihir and others},
  journal={arXiv preprint arXiv:2203.10752},
  year={2022}
}

xtreme_s/fleurs.af_za (конфигурация по умолчанию)

• Размер загрузки : 877.09 MiB

• Размер набора данных : 1.91 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.am_et

• Размер загрузки : 2.18 GiB

• Размер набора данных : 4.92 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ar_eg

• Размер загрузки : 1.42 GiB

• Размер набора данных : 3.06 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.as_in

• Размер загрузки : 2.67 GiB

• Размер набора данных : 5.73 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ast_es

• Размер загрузки : 1.90 GiB

• Размер набора данных : 4.03 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.az_az

• Размер загрузки : 2.28 GiB

• Размер набора данных : 5.08 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.be_by

• Размер загрузки : 2.45 GiB

• Размер набора данных : 5.53 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.bg_bg

• Размер загрузки : 2.11 GiB

• Размер набора данных : 4.61 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.bn_in

• Размер загрузки : 2.77 GiB

• Размер набора данных : 5.84 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.bs_ba

• Размер загрузки : 2.32 GiB

• Размер набора данных : 5.23 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ca_es

• Размер загрузки : 2.01 GiB

• Размер набора данных : 4.32 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ceb_ph

• Размер загрузки : 2.63 GiB

• Размер набора данных : 5.65 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ckb_iq

• Размер загрузки : 2.46 GiB

• Размер набора данных : 5.34 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.cmn_hans_cn

• Размер загрузки : 2.35 GiB

• Размер набора данных : 5.12 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.cs_cz

• Размер загрузки : 1.93 GiB

• Размер набора данных : 4.32 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.cy_gb

• Размер загрузки : 2.90 GiB

• Размер набора данных : 6.62 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.da_dk

• Размер загрузки : 1.82 GiB

• Размер набора данных : 4.17 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.de_de

• Размер загрузки : 2.25 GiB

• Размер набора данных : 4.88 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.el_gr

• Размер загрузки : 2.24 GiB

• Размер набора данных : 4.73 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.en_us

• Размер загрузки : 1.72 GiB

• Размер набора данных : 3.76 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.es_419

• Размер загрузки : 2.14 GiB

• Размер набора данных : 4.80 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.et_ee

• Размер загрузки : 1.88 GiB

• Размер набора данных : 4.20 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.fa_ir

• Размер загрузки : 2.87 GiB

• Размер набора данных : 6.34 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ff_sn

• Размер загрузки : 2.93 GiB

• Размер набора данных : 6.54 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.fi_fi

• Размер загрузки : 2.21 GiB

• Размер набора данных : 4.92 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.fil_ph

• Размер загрузки : 2.47 GiB

• Размер набора данных : 5.38 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.fr_fr

• Размер загрузки : 2.08 GiB

• Размер набора данных : 4.73 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ga_ie

• Размер загрузки : 2.78 GiB

• Размер набора данных : 6.24 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.gl_es

• Размер загрузки : 1.79 GiB

• Размер набора данных : 3.87 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.gu_in

• Размер загрузки : 2.33 GiB

• Размер набора данных : 4.97 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ha_ng

• Размер загрузки : 3.14 GiB

• Размер набора данных : 6.84 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.he_il

• Размер загрузки : 2.22 GiB

• Размер набора данных : 4.60 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.hi_in

• Размер загрузки : 1.53 GiB

• Размер набора данных : 3.27 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.hr_hr

• Размер загрузки : 2.40 GiB

• Размер набора данных : 5.54 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.hu_hu

• Размер загрузки : 2.33 GiB

• Размер набора данных : 5.07 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.hy_am

• Размер загрузки : 2.30 GiB

• Размер набора данных : 5.23 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.id_id

• Размер загрузки : 2.21 GiB

• Размер набора данных : 4.69 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ig_ng

• Размер загрузки : 3.32 GiB

• Размер набора данных : 7.44 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.is_is

• Размер загрузки : 559.65 MiB

• Размер набора данных : 1.16 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.it_it

• Размер загрузки : 2.41 GiB

• Размер набора данных : 5.19 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ja_jp

• Размер загрузки : 1.83 GiB

• Размер набора данных : 3.94 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.jv_id

• Размер загрузки : 2.68 GiB

• Размер набора данных : 5.62 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ka_ge

• Размер загрузки : 1.50 GiB

• Размер набора данных : 3.37 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.kam_ke

• Размер загрузки : 3.43 GiB

• Размер набора данных : 7.37 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.kea_cv

• Размер загрузки : 2.55 GiB

• Размер набора данных : 5.57 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.kk_kz

• Размер загрузки : 2.69 GiB

• Размер набора данных : 6.24 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.km_kh

• Размер загрузки : 1.88 GiB

• Размер набора данных : 4.26 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.kn_in

• Размер загрузки : 2.26 GiB

• Размер набора данных : 4.81 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ko_kr

• Размер загрузки : 1.65 GiB

• Размер набора данных : 3.67 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ky_kg

• Размер загрузки : 2.18 GiB

• Размер набора данных : 5.13 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.lb_lu

• Размер загрузки : 1.94 GiB

• Размер набора данных : 4.39 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.lg_ug

• Размер загрузки : 2.83 GiB

• Размер набора данных : 6.43 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ln_cd

• Размер загрузки : 3.68 GiB

• Размер набора данных : 8.13 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.lo_la

• Размер загрузки : 1.61 GiB

• Размер набора данных : 3.38 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.lt_lt

• Размер загрузки : 2.24 GiB

• Размер набора данных : 5.03 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.luo_ke

• Размер загрузки : 1.87 GiB

• Размер набора данных : 4.18 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.lv_lv

• Размер загрузки : 1.74 GiB

• Размер набора данных : 3.84 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.mi_nz

• Размер загрузки : 4.45 GiB

• Размер набора данных : 9.67 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.mk_mk

• Размер загрузки : 1.91 GiB

• Размер набора данных : 4.23 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ml_in

• Размер загрузки : 2.68 GiB

• Размер набора данных : 5.80 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.mn_mn

• Размер загрузки : 2.21 GiB

• Размер набора данных : 5.47 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.mr_in

• Размер загрузки : 3.00 GiB

• Размер набора данных : 6.41 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ms_my

• Размер загрузки : 2.22 GiB

• Размер набора данных : 4.74 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.mt_mt

• Размер загрузки : 2.39 GiB

• Размер набора данных : 5.37 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.my_mm

• Размер загрузки : 2.85 GiB

• Размер набора данных : 6.43 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.nb_no

• Размер загрузки : 2.15 GiB

• Размер набора данных : 4.68 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ne_np

• Размер загрузки : 2.47 GiB

• Размер набора данных : 5.39 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.nl_nl

• Размер загрузки : 1.56 GiB

• Размер набора данных : 3.33 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.nso_za

• Размер загрузки : 3.27 GiB

• Размер набора данных : 7.11 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ny_mw

• Размер загрузки : 2.60 GiB

• Размер набора данных : 5.76 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.oc_fr

• Размер загрузки : 3.52 GiB

• Размер набора данных : 7.43 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.om_et

• Размер загрузки : 1.18 GiB

• Размер набора данных : 2.52 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.or_in

• Размер загрузки : 1.31 GiB

• Размер набора данных : 2.79 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.pa_in

• Размер загрузки : 1.58 GiB

• Размер набора данных : 3.34 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.pl_pl

• Размер загрузки : 1.95 GiB

• Размер набора данных : 4.39 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ps_af

• Размер загрузки : 1.89 GiB

• Размер набора данных : 4.20 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.pt_br

• Размер загрузки : 2.50 GiB

• Размер набора данных : 5.43 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ro_ro

• Размер загрузки : 2.39 GiB

• Размер набора данных : 5.09 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ru_ru

• Размер загрузки : 1.92 GiB

• Размер набора данных : 4.25 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.sd_in

• Размер загрузки : 3.00 GiB

• Размер набора данных : 6.35 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.sk_sk

• Размер загрузки : 1.55 GiB

• Размер набора данных : 3.46 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.sl_si

• Размер загрузки : 1.74 GiB

• Размер набора данных : 4.00 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.sn_zw

• Размер загрузки : 2.51 GiB

• Размер набора данных : 5.61 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.so_so

• Размер загрузки : 3.13 GiB

• Размер набора данных : 6.93 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.sr_rs

• Размер загрузки : 2.36 GiB

• Размер набора данных : 5.04 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.sv_se

• Размер загрузки : 1.95 GiB

• Размер набора данных : 4.21 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.sw_ke

• Размер загрузки : 2.70 GiB

• Размер набора данных : 5.98 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ta_in

• Размер загрузки : 2.13 GiB

• Размер набора данных : 4.50 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.te_in

• Размер загрузки : 1.81 GiB

• Размер набора данных : 3.86 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.tg_tj

• Размер загрузки : 1.79 GiB

• Размер набора данных : 4.26 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.th_th

• Размер загрузки : 2.24 GiB

• Размер набора данных : 4.91 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.tr_tr

• Размер загрузки : 1.99 GiB

• Размер набора данных : 4.36 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.uk_ua

• Размер загрузки : 2.01 GiB

• Размер набора данных : 4.44 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.umb_ao

• Размер загрузки : 2.58 GiB

• Размер набора данных : 5.55 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.ur_pk

• Размер загрузки : 1.42 GiB

• Размер набора данных : 3.13 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.uz_uz

• Размер загрузки : 2.33 GiB

• Размер набора данных : 5.18 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.vi_vn

• Размер загрузки : 2.21 GiB

• Размер набора данных : 4.88 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.wo_sn

• Размер загрузки : 1.71 GiB

• Размер набора данных : 3.86 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.xh_za

• Размер загрузки : 2.86 GiB

• Размер набора данных : 6.80 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.yo_ng

• Размер загрузки : 2.65 GiB

• Размер набора данных : 5.78 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ):

xtreme_s/fleurs.yue_hant_hk

• Размер загрузки : 1.86 GiB

• Размер набора данных : 4.06 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ): показаны только для первых 100 конфигураций.

xtreme_s/fleurs.zu_za

• Размер загрузки : 3.15 GiB

• Размер набора данных : 7.27 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ): показаны только для первых 100 конфигураций.

xtreme_s/fleurs.all

• Размер загрузки : 231.36 GiB

• Размер набора данных : 509.51 GiB

• Расколы :

• Примеры ( tfds.as_dataframe ): показаны только для первых 100 конфигураций.