Datasets documentation
Charger des données textuelles
Charger des données textuelles
Ce guide vous montre comment charger des jeux de données textuels. Pour apprendre à charger tout type de jeu de données, consultez le guide de chargement général.
Les fichiers texte sont l'un des types de fichiers les plus courants pour stocker un jeu de données. Par défaut, 🤗 Datasets échantillonne un fichier texte ligne par ligne pour construire le jeu de données.
>>> from datasets import load_dataset
>>> dataset = load_dataset("text", data_files={"train": ["my_text_1.txt", "my_text_2.txt"], "test": "my_test_file.txt"})
# Load from a directory
>>> dataset = load_dataset("text", data_dir="path/to/text/dataset")Pour échantillonner un fichier texte par paragraphe ou même un document entier, utilisez le paramètre sample_by :
# Sample by paragraph
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="paragraph")
# Sample by document
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="document")Vous pouvez également utiliser des motifs grep pour charger des fichiers spécifiques :
>>> from datasets import load_dataset
>>> c4_subset = load_dataset("allenai/c4", data_files="en/c4-train.0000*-of-01024.json.gz")Pour charger des fichiers texte distants via HTTP, passez plutôt les URL :
>>> dataset = load_dataset("text", data_files="https://huggingface.co/datasets/hf-internal-testing/dataset_with_data_files/resolve/main/data/train.txt")Pour charger des données XML, vous pouvez utiliser le chargeur « xml », qui est équivalent à « text » avec sample_by=« document » :
>>> from datasets import load_dataset
>>> dataset = load_dataset("xml", data_files={"train": ["my_xml_1.xml", "my_xml_2.xml"], "test": "my_xml_file.xml"})
# Load from a directory
>>> dataset = load_dataset("xml", data_dir="path/to/xml/dataset")