wikihow

• Описание :

WikiHow — это новый крупномасштабный набор данных, использующий онлайновую базу знаний WikiHow ( http://www.wikihow.com/ ).

Есть две функции: - текст: wikihow отвечает на тексты. - заголовок: жирные линии в качестве резюме.

Есть две отдельные версии: - all: состоит из объединения всех абзацев в виде статей и выделенных жирным шрифтом строк в виде кратких ссылок. - sep: состоит из каждого абзаца и его резюме.

Загрузите «wikihowAll.csv» и «wikihowSep.csv» с https://github.com/mahnazkoupaee/WikiHow-Dataset и поместите их в папку вручную https://www.tensorflow.org/datasets/api_docs/python/tfds/ Разделы download/DownloadConfig Train/validation/test предоставлены авторами. Предварительная обработка применяется для удаления коротких статей (длина аннотации < 0,75 длины статьи) и очистки лишних запятых.

• Дополнительная документация : изучить документы с кодом north_east

• Домашняя страница : https://github.com/mahnazkoupaee/WikiHow-Dataset

• Исходный код : tfds.summarization.Wikihow

• Версии :

  • 1.2.0 (по умолчанию): нет примечаний к выпуску.

• Размер загрузки : 5.21 MiB

• Инструкции по ручной загрузке : этот набор данных требует, чтобы вы загружали исходные данные вручную в download_config.manual_dir (по умолчанию ~/tensorflow_datasets/downloads/manual/ ):
  Ссылки на файлы можно найти на https://github.com/mahnazkoupaee/WikiHow-Dataset Пожалуйста, загрузите файлы wikihowAll.csv и wikihowSep.csv.

• Автоматическое кэширование ( документация ): Нет

• Контролируемые ключи (см. as_supervised doc ): ('text', 'headline')

• Рисунок ( tfds.show_examples ): не поддерживается.

• Цитата :

@misc{koupaee2018wikihow,
    title={WikiHow: A Large Scale Text Summarization Dataset},
    author={Mahnaz Koupaee and William Yang Wang},
    year={2018},
    eprint={1810.09305},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

wikihow/all (конфигурация по умолчанию)

• Описание конфигурации : используйте объединение всех абзацев в качестве статей и выделенных жирным шрифтом строк в качестве справочных сводок.

• Размер набора данных : 531.56 MiB .

• Сплиты :

• Структура функции :

FeaturesDict({
    'headline': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):

wikihow/сен

• Описание конфигурации : используйте каждый абзац и его краткое содержание.

• Размер набора данных : 1.07 GiB

• Сплиты :

• Структура функции :

FeaturesDict({
    'headline': Text(shape=(), dtype=string),
    'overview': Text(shape=(), dtype=string),
    'sectionLabel': Text(shape=(), dtype=string),
    'text': Text(shape=(), dtype=string),
    'title': Text(shape=(), dtype=string),
})

• Документация по функциям :

• Примеры ( tfds.as_dataframe ):