- Descrição :
BLiMP é um desafio definido para avaliar o que os modelos de linguagem (LMs) sabem sobre os principais fenômenos gramaticais em inglês. O BLiMP consiste em 67 subconjuntos de dados, cada um contendo 1000 pares mínimos que isolam contrastes específicos na sintaxe, morfologia ou semântica. Os dados são gerados automaticamente de acordo com gramáticas elaboradas por especialistas.
Documentação Adicional : Explore em Papers With Code
Página inicial : https://github.com/alexwarstadt/blimp/tree/master/
Código-fonte :
tfds.datasets.blimp.BuilderVersões :
-
0.1.0(padrão): sem notas de versão.
-
Cache automático ( documentação ): Sim
Divisões :
| Dividir | Exemplos |
|---|---|
'train' | 1.000 |
- Estrutura de recursos :
FeaturesDict({
'UID': Text(shape=(), dtype=string),
'field': Text(shape=(), dtype=string),
'lexically_identical': bool,
'linguistics_term': Text(shape=(), dtype=string),
'one_prefix_method': bool,
'pair_id': int32,
'sentence_bad': Text(shape=(), dtype=string),
'sentence_good': Text(shape=(), dtype=string),
'simple_LM_method': bool,
'two_prefix_method': bool,
})
- Documentação do recurso :
| Característica | Classe | Forma | Tipo D | Descrição |
|---|---|---|---|---|
| RecursosDict | ||||
| UID | Texto | corda | ||
| campo | Texto | corda | ||
| lexicalmente_idêntico | tensor | bool | ||
| linguística_termo | Texto | corda | ||
| one_prefix_method | tensor | bool | ||
| pair_id | tensor | int32 | ||
| frase_ruim | Texto | corda | ||
| frase_boa | Texto | corda | ||
| simple_LM_method | tensor | bool | ||
| two_prefix_method | tensor | bool |
Chaves supervisionadas (Consulte
as_superviseddoc ):NoneFigura ( tfds.show_examples ): Não suportado.
Citação :
@article{warstadt2019blimp,
title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
journal={arXiv preprint arXiv:1912.00582},
year={2019}
}
blimp/adjunct_island (configuração padrão)
Descrição da configuração : Esta configuração inclui o paradigma adjunct_island.
Tamanho do download :
350.86 KiBTamanho do conjunto de dados :
366.47 KiBExemplos ( tfds.as_dataframe ):
blimp/anaphor_gender_agreement
Descrição da configuração : esta configuração inclui o paradigma anaphor_gender_agreement.
Tamanho do download :
426.51 KiBTamanho do conjunto de dados :
332.31 KiBExemplos ( tfds.as_dataframe ):
dirigível/anaphor_number_agreement
Descrição da configuração : esta configuração inclui o paradigma anaphor_number_agreement.
Tamanho do download :
440.29 KiBTamanho do conjunto de dados :
341.07 KiBExemplos ( tfds.as_dataframe ):
dirigível/animate_subject_passive
Descrição da configuração : Esta configuração inclui o paradigma animate_subject_passive.
Tamanho do download :
451.46 KiBTamanho do conjunto de dados :
345.50 KiBExemplos ( tfds.as_dataframe ):
blimp/animate_subject_trans
Descrição da configuração : Esta configuração inclui o paradigma animate_subject_trans.
Tamanho do download :
422.95 KiBTamanho do conjunto de dados :
329.27 KiBExemplos ( tfds.as_dataframe ):
dirigível/causativo
Descrição da configuração : Esta configuração inclui o paradigma causativo.
Tamanho do download :
309.73 KiBTamanho do conjunto de dados :
324.36 KiBExemplos ( tfds.as_dataframe ):
blimp/complex_NP_island
Descrição da configuração : Esta configuração inclui o paradigma complex_NP_island.
Tamanho do download :
383.17 KiBTamanho do conjunto de dados :
398.78 KiBExemplos ( tfds.as_dataframe ):
dirigível/coordinate_structure_constraint_complex_left_branch
Descrição da configuração : esta configuração inclui o paradigma coordenar_estrutura_constraint_complex_left_branch.
Tamanho do download :
558.30 KiBTamanho do conjunto de dados :
410.43 KiBExemplos ( tfds.as_dataframe ):
dirigível/coordinate_structure_constraint_object_extraction
Descrição da configuração : Esta configuração inclui o paradigma coordenar_estrutura_constraint_object_extraction.
Tamanho do download :
357.47 KiBTamanho do conjunto de dados :
372.10 KiBExemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_1
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_1.
Tamanho do download :
457.66 KiBTamanho do conjunto de dados :
356.93 KiBExemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_2
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_2.
Tamanho do download :
477.40 KiBTamanho do conjunto de dados :
357.01 KiBExemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_irregular_1
Descrição da configuração : Esta configuração inclui o paradigma determiner_noun_agreement_irregular_1.
Tamanho do download :
463.80 KiBTamanho do conjunto de dados :
365.08 KiBExemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_irregular_2
Descrição da configuração : Esta configuração inclui o paradigma determiner_noun_agreement_irregular_2.
Tamanho do download :
479.35 KiBTamanho do conjunto de dados :
361.76 KiBExemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_2
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_with_adj_2.
Tamanho do download :
514.46 KiBTamanho do conjunto de dados :
379.92 KiBExemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_irregular_1
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_with_adj_irregular_1.
Tamanho do download :
487.95 KiBTamanho do conjunto de dados :
384.67 KiBExemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_irregular_2
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_with_adj_irregular_2.
Tamanho do download :
516.14 KiBTamanho do conjunto de dados :
384.54 KiBExemplos ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adjective_1
Descrição da configuração : esta configuração inclui o paradigma determiner_noun_agreement_with_adjective_1.
Tamanho do download :
492.85 KiBTamanho do conjunto de dados :
385.25 KiBExemplos ( tfds.as_dataframe ):
blimp/ditractor_agreement_relational_noun
Descrição da configuração : esta configuração inclui o paradigma distraitor_agreement_relational_noun.
Tamanho do download :
513.33 KiBTamanho do conjunto de dados :
391.45 KiBExemplos ( tfds.as_dataframe ):
dirigível/distractor_agreement_relative_clause
Descrição da configuração : esta configuração inclui o paradigma Hydrator_agreement_relative_clause.
Tamanho do download :
551.53 KiBTamanho do conjunto de dados :
416.14 KiBExemplos ( tfds.as_dataframe ):
blimp/drop_argument
Descrição da configuração : esta configuração inclui o paradigma drop_argument.
Tamanho do download :
297.07 KiBTamanho do conjunto de dados :
311.70 KiBExemplos ( tfds.as_dataframe ):
dirigível/ellipsis_n_bar_1
Descrição da configuração : Esta configuração inclui o paradigma ellipsis_n_bar_1.
Tamanho do download :
402.32 KiBTamanho do conjunto de dados :
417.06 KiBExemplos ( tfds.as_dataframe ):
dirigível/ellipsis_n_bar_2
Descrição da configuração : Esta configuração inclui o paradigma ellipsis_n_bar_2.
Tamanho do download :
417.53 KiBTamanho do conjunto de dados :
432.47 KiBExemplos ( tfds.as_dataframe ):
dirigível/existencial_there_object_raising
Descrição da configuração : Esta configuração inclui o paradigma existential_there_object_raising.
Tamanho do download :
537.77 KiBTamanho do conjunto de dados :
423.00 KiBExemplos ( tfds.as_dataframe ):
dirigível/existencial_there_quantifiers_1
Descrição da configuração : Esta configuração inclui o paradigma existential_there_quantifiers_1.
Tamanho do download :
348.95 KiBTamanho do conjunto de dados :
363.58 KiBExemplos ( tfds.as_dataframe ):
dirigível/existencial_there_quantifiers_2
Descrição da configuração : Esta configuração inclui o paradigma existential_there_quantifiers_2.
Tamanho do download :
350.80 KiBTamanho do conjunto de dados :
365.43 KiBExemplos ( tfds.as_dataframe ):
dirigível/existencial_there_subject_raising
Descrição da configuração : Esta configuração inclui o paradigma existential_there_subject_raising.
Tamanho do download :
385.21 KiBTamanho do conjunto de dados :
399.84 KiBExemplos ( tfds.as_dataframe ):
dirigível/expletive_it_object_raising
Descrição da configuração : Esta configuração inclui o paradigma expletive_it_object_raising.
Tamanho do download :
573.88 KiBTamanho do conjunto de dados :
437.58 KiBExemplos ( tfds.as_dataframe ):
dirigível/incoativo
Descrição da configuração : Esta configuração inclui o paradigma incoativo.
Tamanho do download :
291.71 KiBTamanho do conjunto de dados :
306.34 KiBExemplos ( tfds.as_dataframe ):
dirigível / intransitivo
Descrição da configuração : Esta configuração inclui o paradigma intransitivo.
Tamanho do download :
298.33 KiBTamanho do conjunto de dados :
312.96 KiBExemplos ( tfds.as_dataframe ):
blimp/irregular_past_participle_adjectives
Descrição da configuração : Esta configuração inclui o paradigma irregular_past_participle_adjectives.
Tamanho do download :
434.10 KiBTamanho do conjunto de dados :
345.74 KiBExemplos ( tfds.as_dataframe ):
blimp/irregular_past_participle_verbs
Descrição da configuração : Esta configuração inclui o paradigma irregular_past_participle_verbs.
Tamanho do download :
410.27 KiBTamanho do conjunto de dados :
327.21 KiBExemplos ( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_1
Descrição da configuração : Esta configuração inclui o paradigma irregular_plural_subject_verb_agreement_1.
Tamanho do download :
449.91 KiBTamanho do conjunto de dados :
366.17 KiBExemplos ( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_2
Descrição da configuração : Esta configuração inclui o paradigma irregular_plural_subject_verb_agreement_2.
Tamanho do download :
442.75 KiBTamanho do conjunto de dados :
354.70 KiBExemplos ( tfds.as_dataframe ):
dirigível/left_branch_island_echo_question
Descrição da configuração : Esta configuração inclui o paradigma left_branch_island_echo_question.
Tamanho do download :
471.31 KiBTamanho do conjunto de dados :
348.84 KiBExemplos ( tfds.as_dataframe ):
blimp/left_branch_island_simple_question
Descrição da configuração : Esta configuração inclui o paradigma left_branch_island_simple_question.
Tamanho do download :
335.40 KiBTamanho do conjunto de dados :
351.01 KiBExemplos ( tfds.as_dataframe ):
dirigível/matrix_question_npi_licensor_present
Descrição da configuração : Esta configuração inclui o paradigma matrix_question_npi_licensor_present.
Tamanho do download :
447.08 KiBTamanho do conjunto de dados :
354.14 KiBExemplos ( tfds.as_dataframe ):
dirigível/npi_present_1
Descrição da configuração : esta configuração inclui o paradigma npi_present_1.
Tamanho do download :
427.75 KiBTamanho do conjunto de dados :
339.68 KiBExemplos ( tfds.as_dataframe ):
dirigível/npi_present_2
Descrição da configuração : esta configuração inclui o paradigma npi_present_2.
Tamanho do download :
412.24 KiBTamanho do conjunto de dados :
329.11 KiBExemplos ( tfds.as_dataframe ):
dirigível/only_npi_licensor_present
Descrição da configuração : esta configuração inclui o paradigma only_npi_licensor_present.
Tamanho do download :
448.41 KiBTamanho do conjunto de dados :
349.50 KiBExemplos ( tfds.as_dataframe ):
dirigível/only_npi_scope
Descrição da configuração : esta configuração inclui o paradigma only_npi_scope.
Tamanho do download :
570.04 KiBTamanho do conjunto de dados :
408.52 KiBExemplos ( tfds.as_dataframe ):
dirigível/passivo_1
Descrição da configuração : Esta configuração inclui o paradigma passive_1.
Tamanho do download :
332.30 KiBTamanho do conjunto de dados :
346.93 KiBExemplos ( tfds.as_dataframe ):
dirigível/passivo_2
Descrição da configuração : Esta configuração inclui o paradigma passive_2.
Tamanho do download :
301.12 KiBTamanho do conjunto de dados :
315.75 KiBExemplos ( tfds.as_dataframe ):
dirigível/principle_A_c_command
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_c_command.
Tamanho do download :
515.32 KiBTamanho do conjunto de dados :
388.54 KiBExemplos ( tfds.as_dataframe ):
dirigível/princípio_A_case_1
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_case_1.
Tamanho do download :
466.05 KiBTamanho do conjunto de dados :
370.87 KiBExemplos ( tfds.as_dataframe ):
dirigível/princípio_A_case_2
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_case_2.
Tamanho do download :
481.42 KiBTamanho do conjunto de dados :
370.88 KiBExemplos ( tfds.as_dataframe ):
dirigível/princípio_A_domain_1
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_domain_1.
Tamanho do download :
488.15 KiBTamanho do conjunto de dados :
371.62 KiBExemplos ( tfds.as_dataframe ):
dirigível/princípio_A_domain_2
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_domain_2.
Tamanho do download :
481.63 KiBTamanho do conjunto de dados :
365.92 KiBExemplos ( tfds.as_dataframe ):
dirigível/princípio_A_domain_3
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_domain_3.
Tamanho do download :
501.84 KiBTamanho do conjunto de dados :
359.74 KiBExemplos ( tfds.as_dataframe ):
dirigível/principle_A_reconstruction
Descrição da configuração : Esta configuração inclui o paradigmaprincípio_A_reconstrução.
Tamanho do download :
337.40 KiBTamanho do conjunto de dados :
353.00 KiBExemplos ( tfds.as_dataframe ):
blimp/regular_plural_subject_verb_agreement_1
Descrição da configuração : Esta configuração inclui o paradigma regular_plural_subject_verb_agreement_1.
Tamanho do download :
441.26 KiBTamanho do conjunto de dados :
359.56 KiBExemplos ( tfds.as_dataframe ):
dirigível/regular_plural_subject_verb_agreement_2
Descrição da configuração : Esta configuração inclui o paradigma regular_plural_subject_verb_agreement_2.
Tamanho do download :
445.78 KiBTamanho do conjunto de dados :
354.47 KiBExemplos ( tfds.as_dataframe ):
blimp/sentential_negation_npi_licensor_present
Descrição da configuração : Esta configuração inclui o paradigma sentential_negation_npi_licensor_present.
Tamanho do download :
479.49 KiBTamanho do conjunto de dados :
372.30 KiBExemplos ( tfds.as_dataframe ):
dirigível/sentential_negation_npi_scope
Descrição da configuração : esta configuração inclui o paradigma sentential_negation_npi_scope.
Tamanho do download :
600.52 KiBTamanho do conjunto de dados :
431.18 KiBExemplos ( tfds.as_dataframe ):
blimp/sentential_subject_island
Descrição da configuração : Esta configuração inclui o paradigma sentential_subject_island.
Tamanho do download :
357.25 KiBTamanho do conjunto de dados :
372.86 KiBExemplos ( tfds.as_dataframe ):
dirigível/superlative_quantifiers_1
Descrição da configuração : Esta configuração inclui o paradigma superlative_quantifiers_1.
Tamanho do download :
372.25 KiBTamanho do conjunto de dados :
360.02 KiBExemplos ( tfds.as_dataframe ):
dirigível/superlative_quantifiers_2
Descrição da configuração : Esta configuração inclui o paradigma superlative_quantifiers_2.
Tamanho do download :
504.02 KiBTamanho do conjunto de dados :
360.07 KiBExemplos ( tfds.as_dataframe ):
dirigível/tough_vs_raising_1
Descrição da configuração : Esta configuração inclui o paradigma tough_vs_raising_1.
Tamanho do download :
334.99 KiBTamanho do conjunto de dados :
349.62 KiBExemplos ( tfds.as_dataframe ):
dirigível/tough_vs_raising_2
Descrição da configuração : Esta configuração inclui o paradigma tough_vs_raising_2.
Tamanho do download :
355.54 KiBTamanho do conjunto de dados :
370.17 KiBExemplos ( tfds.as_dataframe ):
dirigível / transitivo
Descrição da configuração : Esta configuração inclui o paradigma transitivo.
Tamanho do download :
449.50 KiBTamanho do conjunto de dados :
334.45 KiBExemplos ( tfds.as_dataframe ):
dirigível/wh_island
Descrição da configuração : Esta configuração inclui o paradigma wh_island.
Tamanho do download :
438.12 KiBTamanho do conjunto de dados :
343.47 KiBExemplos ( tfds.as_dataframe ):
dirigível/wh_questions_object_gap
Descrição da configuração : Esta configuração inclui o paradigma wh_questions_object_gap.
Tamanho do download :
378.35 KiBTamanho do conjunto de dados :
392.99 KiBExemplos ( tfds.as_dataframe ):
blimp/wh_questions_subject_gap
Descrição da configuração : Esta configuração inclui o paradigma wh_questions_subject_gap.
Tamanho do download :
380.84 KiBTamanho do conjunto de dados :
395.47 KiBExemplos ( tfds.as_dataframe ):
dirigível/wh_questions_subject_gap_long_distance
Descrição da configuração : Esta configuração inclui o paradigma wh_questions_subject_gap_long_distance.
Tamanho do download :
451.82 KiBTamanho do conjunto de dados :
466.53 KiBExemplos ( tfds.as_dataframe ):
dirigível/wh_vs_that_no_gap
Descrição da configuração : Esta configuração inclui o paradigma wh_vs_that_no_gap.
Tamanho do download :
374.28 KiBTamanho do conjunto de dados :
388.91 KiBExemplos ( tfds.as_dataframe ):
blimp/wh_vs_that_no_gap_long_distance
Descrição da configuração : Esta configuração inclui o paradigma wh_vs_that_no_gap_long_distance.
Tamanho do download :
431.08 KiBTamanho do conjunto de dados :
445.74 KiBExemplos ( tfds.as_dataframe ):
dirigível/wh_vs_that_with_gap
Descrição da configuração : Esta configuração inclui o paradigma wh_vs_that_with_gap.
Tamanho do download :
359.16 KiBTamanho do conjunto de dados :
373.79 KiBExemplos ( tfds.as_dataframe ):
blimp/wh_vs_that_with_gap_long_distance
Descrição da configuração : Esta configuração inclui o paradigma wh_vs_that_with_gap_long_distance.
Tamanho do download :
416.00 KiBTamanho do conjunto de dados :
430.63 KiBExemplos ( tfds.as_dataframe ):