beir

• 説明:

BEIR は、さまざまな IR タスクを含む異種ベンチマークです。また、ベンチマーク内で NLP ベースの検索モデルを評価するための共通の簡単なフレームワークも提供します。

• 追加のドキュメント:コードnorth_eastを使用したペーパーの探索

• ホームページ: https://github.com/beir-cellar/beir

• ソースコード: tfds.datasets.beir.Builder

• バージョン:

  • 1.0.0 (デフォルト): 初期リリース。

• 機能構造:

FeaturesDict({
    'passage': Text(shape=(), dtype=string),
    'passage_id': Text(shape=(), dtype=string),
    'passage_metadata': Text(shape=(), dtype=string),
    'query': Text(shape=(), dtype=string),
    'query_id': Text(shape=(), dtype=string),
    'query_metadata': Text(shape=(), dtype=string),
    'score': float32,
})

• 機能のドキュメント:

• 監視されたキー( as_supervised docを参照): None

• 図( tfds.show_examples ): サポートされていません。

• 引用：

@inproceedings{
    thakur2021beir,
    title={ {BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
    author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{'e} and Abhishek Srivastava and Iryna Gurevych},
    booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)},
    year={2021},
    url={https://openreview.net/forum?id=wCu6T5xFjeJ}
}

beir/msmarco (デフォルト設定)

• ダウンロードサイズ: 1.01 GiB

• データセットサイズ: 4.53 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/trec_covid

• ダウンロードサイズ: 70.45 MiB

• データセットサイズ: 292.04 MiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

ビール/nfcorpus

• ダウンロードサイズ: 2.34 MiB

• データセットサイズ: 24.94 MiB

• 自動キャッシュ(ドキュメント): はい

• スプリット:

• 例( tfds.as_dataframe ):

ビール/nq

• ダウンロードサイズ: 475.22 MiB

• データセットサイズ: 1.66 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

ビール/ホットポットカ

• ダウンロードサイズ: 623.73 MiB

• データセットサイズ: 2.64 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

ビール/フィーカ

• ダウンロードサイズ: 17.12 MiB

• データセットのサイズ: 73.39 MiB

• 自動キャッシュ(ドキュメント): はい

• スプリット:

• 例( tfds.as_dataframe ):

ビール/アルグアナ

• ダウンロードサイズ: 3.60 MiB

• データセットのサイズ: 15.08 MiB

• 自動キャッシュ(ドキュメント): はい

• スプリット:

• 例( tfds.as_dataframe ):

beir/webis_touche2020

• ダウンロードサイズ: 216.61 MiB

• データセットのサイズ: 747.57 MiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.android

• ダウンロードサイズ: 4.98 GiB

• データセットのサイズ: 883.49 MiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.english

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 3.78 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.gaming

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 2.64 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.gis

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 1.47 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.mathematica

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 1.58 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.physics

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 2.02 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.programmers

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 2.14 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.stats

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 941.07 MiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.tex

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 21.75 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.unix

• ダウンロードサイズ: 4.98 GiB

• データセットサイズ: 2.04 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.webmasters

• ダウンロードサイズ: 4.98 GiB

• データセットのサイズ: 650.08 MiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

beir/cqadupstack.wordpress

• ダウンロードサイズ: 4.98 GiB

• データセットのサイズ: 726.15 MiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

ビール/クオラ

• ダウンロードサイズ: 15.12 MiB

• データセットサイズ: 121.33 MiB

• 自動キャッシュ(ドキュメント): はい

• スプリット:

• 例( tfds.as_dataframe ):

beir/dbpedia_entity

• ダウンロードサイズ: 609.67 MiB

• データセットサイズ: 2.47 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

ベア/サイドックス

• ダウンロードサイズ: 135.87 MiB

• データセットのサイズ: 573.04 MiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

ビール/発熱

• ダウンロードサイズ: 1.15 GiB

• データセットサイズ: 3.70 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

ビール/climate_fever

• ダウンロードサイズ: 1.14 GiB

• データセットサイズ: 3.64 GiB

• 自動キャッシュ(ドキュメント): いいえ

• スプリット:

• 例( tfds.as_dataframe ):

ビール/サイファクト

• ダウンロードサイズ: 2.69 MiB

• データセットサイズ: 10.16 MiB

• 自動キャッシュ(ドキュメント): はい

• スプリット:

• 例( tfds.as_dataframe ):