- opis :
Ten zestaw danych zawiera test porównawczy modelowania języka PG-19. Zawiera zestaw książek wyodrębnionych z projektu książek Projektu Gutenberg ( https://www.gutenberg.org ), które zostały opublikowane przed 1919 rokiem. Zawiera także metadane tytułów książek i dat publikacji. PG-19 jest ponad dwukrotnie większy niż test porównawczy Billion Word i zawiera dokumenty, które są średnio 20 razy dłuższe niż test porównawczy modelowania języków dalekiego zasięgu WikiText.
Książki są podzielone na pociąg, walidację i zestaw testów. Metadane książek są przechowywane w pliku metadata.csv, który zawiera (identyfikator_książki, krótki_tytuł_książki, data_publikacji, link_do książki).
Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na
Strona główna : https://github.com/deepmind/pg19
Kod źródłowy :
tfds.datasets.pg19.BuilderWersje :
-
0.1.1(domyślnie): Brak informacji o wersji.
-
Rozmiar pliku do pobrania :
Unknown sizeRozmiar zestawu danych :
10.94 GiBAutomatyczne buforowanie ( dokumentacja ): Nie
Podziały :
| Rozdzielać | Przykłady |
|---|---|
'test' | 100 |
'train' | 28602 |
'validation' | 50 |
- Struktura funkcji :
FeaturesDict({
'book_id': int32,
'book_link': string,
'book_text': Text(shape=(), dtype=string),
'book_title': string,
'publication_date': string,
})
- Dokumentacja funkcji :
| Funkcja | Klasa | Kształt | Typ D | Opis |
|---|---|---|---|---|
| FunkcjeDict | ||||
| identyfikator_książki | Napinacz | int32 | ||
| link_książki | Napinacz | strunowy | ||
| tekst_książki | Tekst | strunowy | ||
| tytuł książki | Napinacz | strunowy | ||
| Data publikacji | Napinacz | strunowy |
Klucze nadzorowane (Zobacz dokument
as_supervised):NoneRysunek ( tfds.show_examples ): Nieobsługiwany.
Przykłady ( tfds.as_dataframe ):
- Cytat :
@article{raecompressive2019,
author = {Rae, Jack W and Potapenko, Anna and Jayakumar, Siddhant M and
Hillier, Chloe and Lillicrap, Timothy P},
title = {Compressive Transformers for Long-Range Sequence Modelling},
journal = {arXiv preprint},
url = {https://arxiv.org/abs/1911.05507},
year = {2019},
}
, - opis :
Ten zestaw danych zawiera test porównawczy modelowania języka PG-19. Zawiera zestaw książek wyodrębnionych z projektu książek Projektu Gutenberg ( https://www.gutenberg.org ), które zostały opublikowane przed 1919 rokiem. Zawiera także metadane tytułów książek i dat publikacji. PG-19 jest ponad dwukrotnie większy niż test porównawczy Billion Word i zawiera dokumenty, które są średnio 20 razy dłuższe niż test porównawczy modelowania języków dalekiego zasięgu WikiText.
Książki są podzielone na pociąg, walidację i zestaw testów. Metadane książek są przechowywane w pliku metadata.csv, który zawiera (identyfikator_książki, krótki_tytuł_książki, data_publikacji, link_do książki).
Dodatkowa dokumentacja : Przeglądaj dokumenty z kodem na
Strona główna : https://github.com/deepmind/pg19
Kod źródłowy :
tfds.datasets.pg19.BuilderWersje :
-
0.1.1(domyślnie): Brak informacji o wersji.
-
Rozmiar pliku do pobrania :
Unknown sizeRozmiar zestawu danych :
10.94 GiBAutomatyczne buforowanie ( dokumentacja ): Nie
Podziały :
| Rozdzielać | Przykłady |
|---|---|
'test' | 100 |
'train' | 28602 |
'validation' | 50 |
- Struktura funkcji :
FeaturesDict({
'book_id': int32,
'book_link': string,
'book_text': Text(shape=(), dtype=string),
'book_title': string,
'publication_date': string,
})
- Dokumentacja funkcji :
| Funkcja | Klasa | Kształt | Typ D | Opis |
|---|---|---|---|---|
| FunkcjeDict | ||||
| identyfikator_książki | Napinacz | int32 | ||
| link_książki | Napinacz | strunowy | ||
| tekst_książki | Tekst | strunowy | ||
| tytuł książki | Napinacz | strunowy | ||
| Data publikacji | Napinacz | strunowy |
Klucze nadzorowane (Zobacz dokument
as_supervised):NoneRysunek ( tfds.show_examples ): Nieobsługiwany.
Przykłady ( tfds.as_dataframe ):
- Cytat :
@article{raecompressive2019,
author = {Rae, Jack W and Potapenko, Anna and Jayakumar, Siddhant M and
Hillier, Chloe and Lillicrap, Timothy P},
title = {Compressive Transformers for Long-Range Sequence Modelling},
journal = {arXiv preprint},
url = {https://arxiv.org/abs/1911.05507},
year = {2019},
}