- توضیحات :
BLiMP یک مجموعه چالش برای ارزیابی آنچه مدل های زبان (LMs) در مورد پدیده های دستوری اصلی در زبان انگلیسی می دانند است. BLiMP شامل 67 زیر مجموعه داده است که هر کدام شامل 1000 جفت حداقلی است که تضادهای خاصی را در نحو، مورفولوژی یا معناشناسی جدا می کند. داده ها به طور خودکار بر اساس دستور زبان های متخصص ساخته می شوند.
اسناد اضافی : کاوش در کاغذها با کد
صفحه اصلی : https://github.com/alexwarstadt/blimp/tree/master/
کد منبع :
tfds.datasets.blimp.Builderنسخه ها :
-
0.1.0(پیش فرض): بدون یادداشت انتشار.
-
ذخیره خودکار ( اسناد ): بله
تقسیم ها :
| شکاف | مثال ها |
|---|---|
'train' | 1000 |
- ساختار ویژگی :
FeaturesDict({
'UID': Text(shape=(), dtype=string),
'field': Text(shape=(), dtype=string),
'lexically_identical': bool,
'linguistics_term': Text(shape=(), dtype=string),
'one_prefix_method': bool,
'pair_id': int32,
'sentence_bad': Text(shape=(), dtype=string),
'sentence_good': Text(shape=(), dtype=string),
'simple_LM_method': bool,
'two_prefix_method': bool,
})
- مستندات ویژگی :
| ویژگی | کلاس | شکل | نوع D | شرح |
|---|---|---|---|---|
| FeaturesDict | ||||
| UID | متن | رشته | ||
| رشته | متن | رشته | ||
| واژگانی_یکسان | تانسور | بوول | ||
| اصطلاح_زبان شناسی | متن | رشته | ||
| one_prefix_method | تانسور | بوول | ||
| pair_id | تانسور | int32 | ||
| جمله_بد | متن | رشته | ||
| جمله_خوب | متن | رشته | ||
| simple_LM_method | تانسور | بوول | ||
| two_prefix_method | تانسور | بوول |
کلیدهای نظارت شده (به
as_superviseddoc مراجعه کنید):Noneشکل ( tfds.show_examples ): پشتیبانی نمی شود.
نقل قول :
@article{warstadt2019blimp,
title={BLiMP: A Benchmark of Linguistic Minimal Pairs for English},
author={Warstadt, Alex and Parrish, Alicia and Liu, Haokun and Mohananey, Anhad and Peng, Wei, and Wang, Sheng-Fu and Bowman, Samuel R},
journal={arXiv preprint arXiv:1912.00582},
year={2019}
}
blimp/adjunct_island (پیکربندی پیش فرض)
توضیحات پیکربندی : این پیکربندی شامل پارادایم adjunct_island است.
حجم دانلود :
350.86 KiBاندازه مجموعه داده :
366.47 KiBمثالها ( tfds.as_dataframe ):
blimp/anaphor_gender_agreement
توضیحات پیکربندی : این پیکربندی شامل پارادایم anaphor_gender_agreement است.
حجم دانلود :
426.51 KiBاندازه مجموعه داده :
332.31 KiBمثالها ( tfds.as_dataframe ):
blimp/anaphor_number_agreement
توضیحات پیکربندی : این پیکربندی شامل پارادایم anaphor_number_agreement است.
حجم دانلود :
440.29 KiBاندازه مجموعه داده :
341.07 KiBمثالها ( tfds.as_dataframe ):
blimp/animate_subject_passive
توضیحات پیکربندی : این پیکربندی شامل پارادایم animate_subject_passive است.
حجم دانلود :
451.46 KiBاندازه مجموعه داده :
345.50 KiBمثالها ( tfds.as_dataframe ):
blimp/animate_subject_trans
توضیحات پیکربندی : این پیکربندی شامل پارادایم animate_subject_trans است.
حجم دانلود :
422.95 KiBحجم مجموعه داده :
329.27 KiBمثالها ( tfds.as_dataframe ):
بال زدن / مسبب
توضیحات پیکربندی : این پیکربندی شامل پارادایم علت است.
حجم دانلود :
309.73 KiBحجم مجموعه داده :
324.36 KiBمثالها ( tfds.as_dataframe ):
blimp/complex_NP_island
توضیحات پیکربندی : این پیکربندی شامل پارادایم complex_NP_island است.
حجم دانلود :
383.17 KiBحجم مجموعه داده :
398.78 KiBمثالها ( tfds.as_dataframe ):
blimp/coordinate_structure_constraint_complex_left_branch
توضیحات پیکربندی : این پیکربندی شامل پارادایم مختصات_structure_constraint_complex_left_branch است.
حجم دانلود :
558.30 KiBحجم مجموعه داده :
410.43 KiBمثالها ( tfds.as_dataframe ):
blimp/coordinate_structure_constraint_object_extraction
توضیحات پیکربندی : این پیکربندی شامل پارادایم مختصات_structure_constraint_object_extraction است.
حجم دانلود :
357.47 KiBحجم مجموعه داده :
372.10 KiBمثالها ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_1 است.
حجم دانلود :
457.66 KiBحجم مجموعه داده :
356.93 KiBمثالها ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_2 است.
حجم دانلود :
477.40 KiBاندازه مجموعه داده :
357.01 KiBمثالها ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_irregular_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_irregular_1 است.
حجم دانلود :
463.80 KiBاندازه مجموعه داده :
365.08 KiBمثالها ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_irregular_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_irregular_2 است.
حجم دانلود :
479.35 KiBحجم مجموعه داده :
361.76 KiBمثالها ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_with_adj_2 است.
حجم دانلود :
514.46 KiBاندازه مجموعه داده :
379.92 KiBمثالها ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_irregular_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_with_adj_irregular_1 است.
حجم دانلود :
487.95 KiBاندازه مجموعه داده :
384.67 KiBمثالها ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adj_irregular_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_with_adj_irregular_2 است.
حجم دانلود :
516.14 KiBحجم مجموعه داده :
384.54 KiBمثالها ( tfds.as_dataframe ):
blimp/determiner_noun_agreement_with_adjective_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم determiner_noun_agreement_with_adjective_1 است.
حجم دانلود :
492.85 KiBحجم مجموعه داده :
385.25 KiBمثالها ( tfds.as_dataframe ):
blimp/distractor_agreement_relational_noun
توضیحات پیکربندی : این پیکربندی شامل پارادایم distractor_agreement_relational_noun است.
حجم دانلود :
513.33 KiBاندازه مجموعه داده :
391.45 KiBمثالها ( tfds.as_dataframe ):
blimp/distractor_agreement_relative_clause
توضیحات پیکربندی : این پیکربندی شامل پارادایم distractor_agreement_relative_clause است.
حجم دانلود :
551.53 KiBاندازه مجموعه داده :
416.14 KiBمثالها ( tfds.as_dataframe ):
blimp/drop_argument
توضیحات پیکربندی : این پیکربندی شامل پارادایم drop_argument است.
حجم دانلود :
297.07 KiBحجم مجموعه داده :
311.70 KiBمثالها ( tfds.as_dataframe ):
blimp/ellipsis_n_bar_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم ellipsis_n_bar_1 است.
حجم دانلود :
402.32 KiBحجم مجموعه داده :
417.06 KiBمثالها ( tfds.as_dataframe ):
blimp/ellipsis_n_bar_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم ellipsis_n_bar_2 است.
حجم دانلود :
417.53 KiBحجم مجموعه داده :
432.47 KiBمثالها ( tfds.as_dataframe ):
بالا بردن_اشیاء_وجودی/وجودی
توضیحات پیکربندی : این پیکربندی شامل پارادایم existential_there_object_raising است.
حجم دانلود :
537.77 KiBاندازه مجموعه داده :
423.00 KiBمثالها ( tfds.as_dataframe ):
blimp/existential_there_quantifiers_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم existential_there_quantifiers_1 است.
حجم دانلود :
348.95 KiBحجم مجموعه داده :
363.58 KiBمثالها ( tfds.as_dataframe ):
blimp/existential_there_quantifiers_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم existential_there_quantifiers_2 است.
حجم دانلود :
350.80 KiBاندازه مجموعه داده :
365.43 KiBمثالها ( tfds.as_dataframe ):
بالا بردن_موضوع_وجودی/وجودی
توضیحات پیکربندی : این پیکربندی شامل پارادایم existential_there_subject_raising است.
حجم دانلود :
385.21 KiBاندازه مجموعه داده :
399.84 KiBمثالها ( tfds.as_dataframe ):
blimp/expletive_it_object_raising
توضیحات پیکربندی : این پیکربندی شامل پارادایم expletive_it_object_raising است.
حجم دانلود :
573.88 KiBاندازه مجموعه داده :
437.58 KiBمثالها ( tfds.as_dataframe ):
بالون هوایی / ابداعی
توضیحات پیکربندی : این پیکربندی شامل پارادایم inchoative است.
حجم دانلود :
291.71 KiBحجم مجموعه داده :
306.34 KiBمثالها ( tfds.as_dataframe ):
بالون هوایی / ناگذر
توضیحات پیکربندی : این پیکربندی شامل پارادایم غیرقابل انتقال است.
حجم دانلود :
298.33 KiBحجم مجموعه داده :
312.96 KiBمثالها ( tfds.as_dataframe ):
blimp/irregular_past_participle_adjectives
توضیحات پیکربندی : این پیکربندی شامل پارادایم irregular_past_participle_adjectives است.
حجم دانلود :
434.10 KiBاندازه مجموعه داده :
345.74 KiBمثالها ( tfds.as_dataframe ):
blimp/irregular_past_participle_verbs
توضیحات پیکربندی : این پیکربندی شامل پارادایم irregular_past_participle_verbs است.
حجم دانلود :
410.27 KiBحجم مجموعه داده :
327.21 KiBمثالها ( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم irregular_plural_subject_verb_agreement_1 است.
حجم دانلود :
449.91 KiBحجم مجموعه داده :
366.17 KiBمثالها ( tfds.as_dataframe ):
blimp/irregular_plural_subject_verb_agreement_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم irregular_plural_subject_verb_agreement_2 است.
حجم دانلود :
442.75 KiBاندازه مجموعه داده :
354.70 KiBمثالها ( tfds.as_dataframe ):
blimp/left_branch_island_echo_question
توضیحات پیکربندی : این پیکربندی شامل پارادایم left_branch_island_echo_question است.
حجم دانلود :
471.31 KiBحجم مجموعه داده :
348.84 KiBمثالها ( tfds.as_dataframe ):
blimp/سوال_ساده_جزیره_شاخه_چپ
توضیحات پیکربندی : این پیکربندی شامل پارادایم left_branch_island_simple_question است.
حجم دانلود :
335.40 KiBاندازه مجموعه داده :
351.01 KiBمثالها ( tfds.as_dataframe ):
blimp/matrix_question_npi_licensor_present
توضیحات پیکربندی : این پیکربندی شامل پارادایم matrix_question_npi_licensor_present است.
حجم دانلود :
447.08 KiBاندازه مجموعه داده :
354.14 KiBمثالها ( tfds.as_dataframe ):
blimp/npi_present_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم npi_present_1 است.
حجم دانلود :
427.75 KiBحجم مجموعه داده :
339.68 KiBمثالها ( tfds.as_dataframe ):
blimp/npi_present_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم npi_present_2 است.
حجم دانلود :
412.24 KiBحجم مجموعه داده :
329.11 KiBمثالها ( tfds.as_dataframe ):
blimp/only_npi_licensor_present
توضیحات پیکربندی : این پیکربندی شامل پارادایم only_npi_licensor_present است.
حجم دانلود :
448.41 KiBاندازه مجموعه داده :
349.50 KiBمثالها ( tfds.as_dataframe ):
blimp/only_npi_scope
توضیحات پیکربندی : این پیکربندی شامل پارادایم only_npi_scope است.
حجم دانلود :
570.04 KiBاندازه مجموعه داده :
408.52 KiBمثالها ( tfds.as_dataframe ):
blimp/passive_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم passive_1 است.
حجم دانلود :
332.30 KiBحجم مجموعه داده :
346.93 KiBمثالها ( tfds.as_dataframe ):
بالون هوایی/منفعل_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم passive_2 است.
حجم دانلود :
301.12 KiBاندازه مجموعه داده :
315.75 KiBمثالها ( tfds.as_dataframe ):
blimp/principle_A_c_command
توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_c_command است.
حجم دانلود :
515.32 KiBحجم مجموعه داده :
388.54 KiBمثالها ( tfds.as_dataframe ):
blimp/principle_A_case_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_case_1 است.
حجم دانلود :
466.05 KiBحجم مجموعه داده :
370.87 KiBمثالها ( tfds.as_dataframe ):
blimp/اصل_A_case_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_case_2 است.
حجم دانلود :
481.42 KiBحجم مجموعه داده :
370.88 KiBمثالها ( tfds.as_dataframe ):
blimp/principle_A_domain_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_domain_1 است.
حجم دانلود :
488.15 KiBحجم مجموعه داده :
371.62 KiBمثالها ( tfds.as_dataframe ):
blimp/principle_A_domain_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_domain_2 است.
حجم دانلود :
481.63 KiBحجم مجموعه داده :
365.92 KiBمثالها ( tfds.as_dataframe ):
blimp/principle_A_domain_3
توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_domain_3 است.
حجم دانلود :
501.84 KiBاندازه مجموعه داده :
359.74 KiBمثالها ( tfds.as_dataframe ):
blimp/principle_A_reconstruction
توضیحات پیکربندی : این پیکربندی شامل پارادایم اصل_A_reconstruction است.
حجم دانلود :
337.40 KiBاندازه مجموعه داده :
353.00 KiBمثالها ( tfds.as_dataframe ):
blimp/regular_plural_subject_verb_agreement_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم regular_plural_subject_verb_agreement_1 است.
حجم دانلود :
441.26 KiBحجم مجموعه داده :
359.56 KiBمثالها ( tfds.as_dataframe ):
blimp/regular_plural_subject_verb_agreement_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم regular_plural_subject_verb_agreement_2 است.
حجم دانلود :
445.78 KiBحجم مجموعه داده :
354.47 KiBمثالها ( tfds.as_dataframe ):
blimp/sentential_negation_npi_licensor_present
توضیحات پیکربندی : این پیکربندی شامل پارادایم sentential_negation_npi_licensor_present است.
حجم دانلود :
479.49 KiBاندازه مجموعه داده :
372.30 KiBمثالها ( tfds.as_dataframe ):
blimp/sentential_negation_npi_scope
توضیحات پیکربندی : این پیکربندی شامل پارادایم sentential_negation_npi_scope است.
حجم دانلود :
600.52 KiBحجم مجموعه داده :
431.18 KiBمثالها ( tfds.as_dataframe ):
blimp/sentential_subject_island
توضیحات پیکربندی : این پیکربندی شامل پارادایم sentential_subject_island است.
حجم دانلود :
357.25 KiBحجم مجموعه داده :
372.86 KiBمثالها ( tfds.as_dataframe ):
blimp/superlative_quantifiers_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم superlative_quantifiers_1 است.
حجم دانلود :
372.25 KiBاندازه مجموعه داده :
360.02 KiBمثالها ( tfds.as_dataframe ):
blimp/superlative_quantifiers_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم superlative_quantifiers_2 است.
حجم دانلود :
504.02 KiBاندازه مجموعه داده :
360.07 KiBمثالها ( tfds.as_dataframe ):
blimp/tough_vs_raising_1
توضیحات پیکربندی : این پیکربندی شامل پارادایم tough_vs_raising_1 است.
حجم دانلود :
334.99 KiBحجم مجموعه داده :
349.62 KiBمثالها ( tfds.as_dataframe ):
blimp/tough_vs_raising_2
توضیحات پیکربندی : این پیکربندی شامل پارادایم tough_vs_raising_2 است.
حجم دانلود :
355.54 KiBحجم مجموعه داده :
370.17 KiBمثالها ( tfds.as_dataframe ):
بالون هوایی / گذرا
توضیحات پیکربندی : این پیکربندی شامل پارادایم انتقالی است.
حجم دانلود :
449.50 KiBاندازه مجموعه داده :
334.45 KiBمثالها ( tfds.as_dataframe ):
blimp/wh_island
توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_island است.
حجم دانلود :
438.12 KiBحجم مجموعه داده :
343.47 KiBمثالها ( tfds.as_dataframe ):
blimp/wh_questions_object_gap
توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_questions_object_gap است.
حجم دانلود :
378.35 KiBاندازه مجموعه داده :
392.99 KiBمثالها ( tfds.as_dataframe ):
blimp/wh_questions_subject_gap
توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_questions_subject_gap است.
حجم دانلود :
380.84 KiBحجم مجموعه داده :
395.47 KiBمثالها ( tfds.as_dataframe ):
blimp/wh_questions_subject_gap_long_distance
توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_questions_subject_gap_long_distance است.
حجم دانلود :
451.82 KiBحجم مجموعه داده :
466.53 KiBمثالها ( tfds.as_dataframe ):
blimp/wh_vs_that_no_gap
توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_vs_that_no_gap است.
حجم دانلود :
374.28 KiBاندازه مجموعه داده :
388.91 KiBمثالها ( tfds.as_dataframe ):
blimp/wh_vs_that_no_gap_long_distance
توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_vs_that_no_gap_long_distance است.
حجم دانلود :
431.08 KiBحجم مجموعه داده :
445.74 KiBمثالها ( tfds.as_dataframe ):
blimp/wh_vs_that_with_gap
توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_vs_that_with_gap است.
حجم دانلود :
359.16 KiBحجم مجموعه داده :
373.79 KiBمثالها ( tfds.as_dataframe ):
blimp/wh_vs_that_with_gap_long_distance
توضیحات پیکربندی : این پیکربندی شامل پارادایم wh_vs_that_with_gap_long_distance است.
حجم دانلود :
416.00 KiBحجم مجموعه داده :
430.63 KiBمثالها ( tfds.as_dataframe ):