- Opis :
Xtreme Benchmark
Test porównawczy Cross-lingual TRANSFER Evaluation of Multilingual Encoders (XTREME) jest punktem odniesienia dla oceny zdolności do wielojęzycznego uogólniania wstępnie wytrenowanych modeli wielojęzycznych. Obejmuje 40 języków zróżnicowanych typologicznie (obejmujących 12 rodzin językowych) i obejmuje dziewięć zadań, które łącznie wymagają rozumowania na różnych poziomach składni i semantyki. Języki w XTREME są wybierane tak, aby zmaksymalizować różnorodność językową, pokrycie istniejących zadań i dostępność danych treningowych. Wśród nich jest wiele słabo poznanych języków, takich jak drawidyjskie języki tamilski (używane w południowych Indiach, Sri Lance i Singapurze), telugu i malajalam (używane głównie w południowych Indiach) oraz języki niger-kongo, którymi mówi się suahili i joruba. w Afryce.
Pełny opis testu porównawczego znajduje się w artykule .
- Strona główna :
https://sites.research.google/xtreme
Wersje :
-
1.0.0(domyślnie): Pierwsze wydanie
-
Zbiory danych w wersji domyślnej :
-
xnli:xtreme_xnli:1.1.0 -
pawsx:xtreme_pawsx:1.0.0 - pozycja:
posxtreme_pos:1.0.0 -
ner:wikiann:1.0.0 -
xquad:xquad:3.0.0 -
mlqa:mlqa:1.0.0 -
tydiqa:tydi_qa:3.0.0 -
bucc:bucc:1.0.0 -
tatoeba:tatoeba:1.0.0
-
Cytat :