c4

• Açıklama :

Common Crawl'ın web tarama külliyatının devasa, temizlenmiş bir versiyonu.

Common Crawl veri kümesine dayalıdır: https://commoncrawl.org

Bu veri kümesini oluşturmak için lütfen t5'teki talimatları izleyin.

Veri kümesini temizlemenin ek yükü nedeniyle, onu Cloud Dataflow gibi dağıtılmış bir hizmetle hazırlamanız önerilir. https://www.tensorflow.org/datasets/beam_datasets adresinde daha fazla bilgi

• Ek Belgeler : north_east Belgeleri Keşfedin

• Ana sayfa : https://github.com/google-research/text-to-text-transfer-transformer#datasets

• Kaynak kodu : tfds.text.C4

• sürümler :

  • 2.2.0 : Sürüm notu yok.
  • 2.2.1 : Sürüm notu yok.
  • 2.3.0 : Sürüm notu yok.
  • 2.3.1 : Sürüm notu yok.
  • 3.1.0 (varsayılan): Sürüm notu yok.

• Manuel indirme talimatları : Bu veri kümesi, kaynak verileri manuel olarak download_config.manual_dir içine download_config.manual_dir gerektirir (varsayılan olarak ~/tensorflow_datasets/downloads/manual/ ):
  Bazı dosyaların manuel olarak indirilmesini gerektiren bir C4 yapılandırması kullanıyorsunuz. c4/webtextlike için https://mega.nz/#F!EZZD0YwJ!9_PlEQzdMVLaNdKv_ICNVQ adresinden OpenWebText.zip dosyasını indirin.

• Otomatik önbelleğe alınmış ( belgeleme ): Hayır

• Özellik yapısı :

FeaturesDict({
    'content-length': Text(shape=(), dtype=string),
    'content-type': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'timestamp': Text(shape=(), dtype=string),
    'url': Text(shape=(), dtype=string),
})

• Özellik belgeleri :

• Denetlenen anahtarlar (Bkz as_supervised doc ): None

• Şekil ( tfds.show_examples ): Desteklenmiyor.

• Alıntı :

@article{2019t5,
  author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
  title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
  journal = {arXiv e-prints},
  year = {2019},
  archivePrefix = {arXiv},
  eprint = {1910.10683},
}

c4/en (varsayılan yapılandırma)

• Yapılandırma açıklaması : İngilizce C4 veri kümesi.

• İndirme boyutu : 201.98 KiB

• Veri kümesi boyutu : 806.87 GiB

• bölmeler :

• Örnekler ( tfds.as_dataframe ):

c4/tr.noclean

• Yapılandırma açıklaması : Tüm temizlemeyi devre dışı bırakır (tekilleştirme, kötü sözcüklere dayalı kaldırma vb.)

• İndirme boyutu : 177.11 KiB

• Veri kümesi boyutu : 6.21 TiB

• bölmeler :

• Örnekler ( tfds.as_dataframe ):

c4/gerçek haber benzeri

• Yapılandırma açıklaması : Yalnızca "RealNews" veri kümesinde kullanılan alanlardaki içeriği içerecek şekilde varsayılan yapılandırmadan filtreler (Zellers ve diğerleri, 2019).

• İndirme boyutu : 340.29 KiB

• Veri kümesi boyutu : 36.91 GiB

• bölmeler :

• Örnekler ( tfds.as_dataframe ):

c4/webtextlike

• Yapılandırma açıklaması : Yalnızca OpenWebText'teki ( https://github.com/jcpeterson/openwebtext ) URL'lerdeki içeriği içerecek şekilde varsayılan yapılandırmadan filtreler.

• İndirme boyutu : 2.04 MiB

• Veri kümesi boyutu : 17.93 GiB

• bölmeler :

• Örnekler ( tfds.as_dataframe ):

c4/çok dilli

• Yapılandırma açıklaması : Çok dilli C4 (mC4) 101 dile sahiptir ve 86 Ortak Tarama dökümünden oluşturulmuştur.

• İndirme boyutu : 13.60 MiB

• Veri kümesi boyutu : 38.49 TiB

• bölmeler :

• Örnekler ( tfds.as_dataframe ):