落とす

• 説明:

既存の読解力ベンチマークでのシステム パフォーマンスが人間のパフォーマンスに近いかそれを上回っているため、テキストの段落を実際に読むシステムの能力を向上させる新しいハード データセットが必要です。 DROP は、クラウドソーシングされ、敵対的に作成された 96k の質問のベンチマークであり、システムは質問内の参照をおそらく複数の入力位置に解決し、それらに対して個別の操作 (加算、カウント、並べ替えなど) を実行する必要があります。これらの操作では、以前のデータセットで必要だったよりも、段落の内容をより包括的に理解する必要があります。

• 追加のドキュメント:コードnorth_eastを使用したペーパーの探索

• ホームページ: https://allennlp.org/drop

• ソースコード: tfds.text.drop.Drop

• バージョン:

  • 1.0.0 : 初期リリース。
  • 2.0.0 (デフォルト): 回答のすべてのオプションを追加します。

• ダウンロードサイズ: 7.92 MiB

• データセットのサイズ: 116.24 MiB

• 自動キャッシュ(ドキュメント): はい

• スプリット:

• 機能構造:

FeaturesDict({
    'answer': Text(shape=(), dtype=string),
    'passage': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'question': Text(shape=(), dtype=string),
    'validated_answers': Sequence(Text(shape=(), dtype=string)),
})

• 機能のドキュメント:

• 監視されたキー( as_supervised docを参照): None

• 図( tfds.show_examples ): サポートされていません。

• 例( tfds.as_dataframe ):

• 引用：

@inproceedings{Dua2019DROP,
  author={Dheeru Dua and Yizhong Wang and Pradeep Dasigi and Gabriel Stanovsky and Sameer Singh and Matt Gardner},
  title={  {DROP}: A Reading Comprehension Benchmark Requiring Discrete Reasoning Over Paragraphs},
  booktitle={Proc. of NAACL},
  year={2019}
}