Datasets documentation

Classes de construction

Datasets

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Classes de construction

Constructeurs

🤗 Datasets s'appuie sur deux classes principales lors du processus de construction du jeu de données : DatasetBuilder et BuilderConfig.

classe datasets.DatasetBuilder

< source >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Paramètres

cache_dir (str, facultatif) — Répertoire de mise en cache des données. Par défaut : "~/.cache/huggingface/datasets".
dataset_name (str, facultatif) — Nom du jeu de données, s’il diffère du nom du constructeur. Utile pour les constructeurs pré-emballés comme csv, imagefolder, audiofolder, etc. afin de refléter la différence entre les jeux de données qui utilisent le même constructeur pré-emballé.
config_name (str, facultatif) — Nom de la configuration du jeu de données. Il affecte les données générées sur le disque. Différentes configurations auront leurs propres sous-répertoires et versions. Si aucune n'est fournie, la configuration par défaut est utilisée (si elle existe).

Ajouté dans 2.3.0

Le paramètre name a été renommé en config_name.
hash (str, facultatif) — Hash spécifique au code du constructeur de jeu de données. Utilisé pour mettre à jour le répertoire de cache lorsque le code du constructeur de jeu de données est mis à jour (pour éviter de réutiliser de vieilles données). Le répertoire de cache typique (défini dans self._relative_data_dir) est name/version/hash/.
base_path (str, facultatif) — Chemin de base pour les chemins relatifs utilisés pour télécharger des fichiers. Il peut s’agir d’une URL distante.
features (Features, facultatif) — Types de features à utiliser avec ce jeu de données. Il peut servir, par exemple, à modifier les types Features d’un jeu de données.
token (str ou bool, facultatif) — Chaîne de caractères ou booléen à utiliser comme jeton Bearer pour les fichiers distants sur le Datasets Hub. Si True, le jeton est récupéré depuis "~/.huggingface".
repo_id (str, facultatif) — ID du dépôt de jeu de données. Utilisé pour distinguer les constructeurs ayant le même nom mais ne provenant pas du même espace de noms, par exemple les ID de dépôt « rajpurkar/squad » et « lhoestq/squad ». Dans ce dernier cas, le nom du constructeur serait « lhoestq___squad ».
data_files (str ou Sequence ou Mapping, facultatif) — Chemin(s) du ou des fichiers de données source. Pour les constructeurs comme « csv » ou « json » qui nécessitent que l’utilisateur spécifie les fichiers de données. Ils peuvent être des fichiers locaux ou distants. Pour plus de commodité, vous pouvez utiliser un DataFilesDict.
data_dir (str, facultatif) — Chemin vers le répertoire contenant le ou les fichiers de données source. À n’utiliser que si data_files n’est pas transmis, auquel cas cela équivaut à transmettre os.path.join(data_dir, "**") en tant que data_files. Pour les constructeurs nécessitant un téléchargement manuel, il doit s’agir du chemin vers le répertoire local contenant les données téléchargées manuellement.
storage_options (dict, facultatif) — Paires clé/valeur à transmettre au backend système de fichiers du jeu de données, le cas échéant.
writer_batch_size (int, facultatif) — Taille du lot utilisée par l'ArrowWriter. Elle définit le nombre d'échantillons conservés en mémoire avant leur écriture et également la longueur des chunks arrow. None signifie que l'ArrowWriter utilisera sa valeur par défaut.
**config_kwargs (arguments de mot-clé supplémentaires) — Arguments de mot-clé à passer à la classe de configuration du constructeur correspondante, définie sur l'attribut de classe DatasetBuilder.BUILDER_CONFIG_CLASS. La classe de configuration du constructeur est BuilderConfig ou une sous-classe de celle-ci.

Classe de base abstraite pour tous les jeux de données.

DatasetBuilder possède 3 méthodes clés :

DatasetBuilder.info : Documente le jeu de données, y compris les noms, types, formes, version, partitions, citation, etc.
DatasetBuilder.download_and_prepare() : télécharge les données source et les écrit sur le disque.
DatasetBuilder.as_dataset() : génère un Dataset.

Certains DatasetBuilder exposent plusieurs variantes du jeu de données en définissant une sous-classe de BuilderConfig et en acceptant un objet de configuration (ou un nom) lors de la construction. Les jeux de données configurables exposent un ensemble prédéfini de configurations dans DatasetBuilder.builder_configs().

as_dataset

< source >

( split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonein_memory = False )

Paramètres

split (datasets.Split) — Sous-ensemble des données à retourner.
verification_mode (VerificationMode ou str, par défaut BASIC_CHECKS) — Mode de vérification déterminant les contrôles à exécuter sur les informations du téléchargé/traité (sommes de contrôle/taille/splits/…).

Ajouté dans 2.9.1
in_memory (bool, par défaut False) — Indique s'il faut copier les données en mémoire.

Retourner un Dataset pour la partition spécifiée.

Exemple :

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> builder.download_and_prepare()
>>> ds = builder.as_dataset(split='train')
>>> ds
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

download_and_prepare

< source >

( output_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonedl_manager: typing.Optional[datasets.download.download_manager.DownloadManager] = Nonebase_path: typing.Optional[str] = Nonefile_format: str = 'arrow'max_shard_size: typing.Union[str, int, NoneType] = Nonenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**download_and_prepare_kwargs )

Paramètres

output_dir (str, facultatif) — Répertoire de sortie pour le jeu de données. Par défaut, ce répertoire est celui du cache_dir, de ce constructeur, situé dans ~/.cache/huggingface/datasets par défaut.

Ajouté dans 2.5.0
download_config (DownloadConfig, facultatif) — Paramètres de configuration de téléchargement spécifiques.
download_mode (DownloadMode ou str, facultatif) — Sélectionne le mode de téléchargement/génération, par défaut REUSE_DATASET_IF_EXISTS.
verification_mode (VerificationMode ou str, défaut : BASIC_CHECKS) — Mode de vérification déterminant les contrôles à exécuter sur les informations du téléchargé/traité (sommes de contrôle/taille/splits/…).

Ajouté dans 2.9.1
dl_manager (DownloadManager, facultatif) — DownloadManger spécifique à utiliser.
base_path (str, facultatif) — Chemin de base pour les chemins relatifs utilisés pour télécharger des fichiers. Il peut s’agir d’une URL distante. Si non spécifié, la valeur de l’attribut base_path (self.base_path) sera utilisée à la place.
file_format (str, facultatif) — Format des fichiers de données dans lesquels le jeu de données sera écrit. Formats pris en charge : « arrow », « parquet ». Le format par défaut est « arrow ». Si le format est « parquet », les données d'image et d'audio sont intégrées dans les fichiers Parquet au lieu de pointer vers des fichiers locaux.

Ajouté dans 2.5.0
max_shard_size (Union[str, int], facultatif) — Nombre maximal d'octets écrits par shard, la valeur par défaut est « 500MB ». La taille est basée sur la taille des données non compressées, donc en pratique vos fichiers de shard peuvent être plus petits que max_shard_size grâce à la compression Parquet, par exemple.

Ajouté dans 2.5.0
num_proc (int, facultatif, par défaut None) — Nombre de processus lors du téléchargement et de la génération du jeu de données localement. Le multiprocessing est désactivé par défaut.

Ajouté dans 2.7.0
storage_options (dict, facultatif) — Paires clé/valeur à transmettre au backend de système de fichiers de mise en cache, le cas échéant.

Ajouté dans 2.5.0
**download_and_prepare_kwargs (arguments de mot-clé supplémentaires) — Arguments de mot-clé.

Télécharge et prépare le jeu de données pour la lecture.

Exemple :

Téléchargez et préparez le jeu de données sous forme de fichiers Arrow qui peuvent être chargés en tant que Dataset à l'aide de builder.as_dataset() :

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare()

Téléchargez et préparez le jeu de données sous forme de fichiers Parquet fragmentés localement :

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("./output_dir", file_format="parquet")

Téléchargez et préparez le jeu de données sous forme de fichiers Parquet fragmentés dans un stockage cloud :

>>> from datasets import load_dataset_builder
>>> storage_options = {"key": aws_access_key_id, "secret": aws_secret_access_key}
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("s3://my-bucket/my_rotten_tomatoes", storage_options=storage_options, file_format="parquet")

get_imported_module_dir

< source >

( )

Retourner le chemin du module de cette classe ou de cette sous-classe.

classe datasets.GeneratorBasedBuilder

< source >

Classe de base pour les jeux de données avec génération de données basée sur des générateurs de dictionnaires.

GeneratorBasedBuilder est une classe de commodité qui abstrait une grande partie de l’écriture et de la lecture des données de DatasetBuilder. Elle attend que les sous-classes implémentent des générateurs de dictionnaires de fonctionnalités pour les différentes divisions du jeu de données (_split_generators). Consultez les docstrings des méthodes pour plus de détails.

classe datasets.ArrowBasedBuilder

< source >

Classe de base pour les jeux de données avec génération de données basée sur les fonctions de chargement Arrow (CSV/JSON/Parquet).

classe datasets.BuilderConfig

< source >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = None )

Paramètres

name (str, par défaut default) — Le nom de la configuration.
version (Version ou str, par défaut 0.0.0) — La version de la configuration.
data_dir (str, facultatif) — Chemin vers le répertoire contenant les données source.
data_files (str ou Sequence ou Mapping, facultatif) — Chemin(s) du ou des fichier(s) de données source.
description (str, facultatif) — Description humaine de la configuration.

Classe de base pour la configuration des données de DatasetBuilder.

Les sous-classes de DatasetBuilder avec des options de configuration des données doivent sous-classer BuilderConfig et ajouter leurs propres propriétés.

create_config_id

< source >

( config_kwargs: dictcustom_features: typing.Optional[datasets.features.features.Features] = None )

L’identifiant de configuration est utilisé pour construire le répertoire de cache. Par défaut, il est égal au nom de la configuration. Cependant, le nom d’une configuration ne suffit pas à fournir un identifiant unique pour le jeu de données en cours de génération, car il ne tient pas compte de :

les kwargs de configuration qui peuvent être utilisés pour écraser les attributs
les fonctionnalités personnalisées utilisées pour écrire le jeu de données
les data_files pour les jeux de données json/text/csv/pandas

L'identifiant de configuration est donc simplement le nom de la configuration avec un suffixe facultatif basé sur ces éléments.

Télécharger

classe datasets.DownloadManager

< source >

( dataset_name: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonebase_path: typing.Optional[str] = Nonerecord_checksums = False )

télécharger

< source >

( url_or_urls ) → str or list or dict

Paramètres

url_or_urls (str ou list ou dict) — URL ou list ou dict d’URL à télécharger. Chaque URL est un str.

Retourne

str ou list ou dict

Les chemins téléchargés correspondant à l'entrée url_or_urls donnée.

Télécharger les URL(s) données.

Par défaut, un seul processus est utilisé pour le téléchargement. Passez une valeur personnalisée de download_config.num_proc pour modifier ce comportement.

Exemple :

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

télécharger_et_extrait

< source >

( url_or_urls ) → extracted_path(s)

Paramètres

url_or_urls (str ou list ou dict) — URL ou list ou dict d’URL à télécharger et extraire. Chaque URL est un str.

Retourne

extracted_path(s)

str, chemins extraits des URL(s) données.

Télécharger et extraire les url_or_urls donnés.

Équivaut approximativement à :

extracted_paths = dl_manager.extract(dl_manager.download(url_or_urls))

extract

< source >

( path_or_paths ) → extracted_path(s)

Paramètres

path_or_paths (path ou list ou dict) — Chemin du fichier à extraire. Chaque chemin est un str.

Retourne

extracted_path(s)

str, Les chemins extraits correspondant à l'entrée path_or_paths.

Extraire le(s) chemin(s) indiqué(s).

Exemple :

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

< source >

( path_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

Paramètres

path_or_buf (str ou io.BufferedReader) — Chemin de l'archive ou objet de fichier binaire de l'archive.

Rendements

tuple[str, io.BufferedReader]

2-tuple (path_within_archive, file_object). L'objet fichier est ouvert en mode binaire.

Itérer sur les fichiers d'une archive.

Exemple :

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

< source >

( paths: typing.Union[str, list[str]] ) → str

Paramètres

paths (str ou list de str) — Chemin racine.

Rendements

str

Chemin du fichier.

Itérer sur les chemins de fichiers.

Exemple :

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

classe datasets.StreamingDownloadManager

< source >

Gestionnaire de téléchargement qui utilise le séparateur « :: » pour naviguer dans des archives compressées (éventuellement distantes). Contrairement au DownloadManager classique, les méthodes download et extract ne téléchargent ni n’extraient réellement les données, mais renvoient plutôt le chemin ou l’URL qui peut être ouvert à l’aide de la fonction xopen, qui étend la fonction intégrée open pour diffuser les données depuis des fichiers distants.

télécharger

< source >

( url_or_urls ) → url(s)

Paramètres

url_or_urls (str ou list ou dict) — URL(s) des fichiers à partir desquels diffuser les données. Chaque url est un str.

Retourne

url(s)

(str ou list ou dict), URL(s) à partir desquelles diffuser les données correspondant à l'URL ou aux URL d'entrée données.

Normalise l’URL ou les URL des fichiers à partir desquels diffuser les données. Il s’agit de la version paresseuse de DownloadManager.download pour la diffusion.

Exemple :

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

télécharger_et_extrait

< source >

( url_or_urls ) → url(s)

Paramètres

url_or_urls (str ou list ou dict) — URL(s) à partir desquelles diffuser les données. Chaque url est un str.

Retourne

url(s)

(str ou list ou dict), URL(s) à partir desquelles diffuser des données correspondant à l'entrée url_or_urls donnée.

Prépare les url_or_urls donnés pour le streaming (ajoute le protocole d'extraction).

Il s’agit de la version paresseuse de DownloadManager.download_and_extract pour le streaming.

Équivaut à :

urls = dl_manager.extract(dl_manager.download(url_or_urls))

extract

< source >

( url_or_urls ) → url(s)

Paramètres

url_or_urls (str ou list ou dict) — URL(s) des fichiers à partir desquels diffuser les données. Chaque url est un str.

Retourne

url(s)

(str ou list ou dict), URL(s) à partir desquelles diffuser des données correspondant à l'entrée url_or_urls donnée.

Ajouter le protocole d’extraction pour l’URL ou les URL(s) donnée(s) pour le streaming.

Il s’agit de la version paresseuse de DownloadManager.extract pour le streaming.

Exemple :

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

< source >

( urlpath_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

Paramètres

urlpath_or_buf (str ou io.BufferedReader) — Chemin de l'archive ou objet de fichier binaire de l'archive.

Rendements

tuple[str, io.BufferedReader]

2-tuple (path_within_archive, file_object). L'objet fichier est ouvert en mode binaire.

Itérer sur les fichiers d'une archive.

Exemple :

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

< source >

( urlpaths: typing.Union[str, list[str]] ) → str

Paramètres

urlpaths (str ou list de str) — Chemin racine.

Rendements

str

Chemin d’URL du fichier.

Itérer sur les fichiers.

Exemple :

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

classe datasets.DownloadConfig

< source >

( cache_dir: typing.Union[str, pathlib.Path, NoneType] = Noneforce_download: bool = Falseresume_download: bool = Falselocal_files_only: bool = Falseproxies: typing.Optional[dict] = Noneuser_agent: typing.Optional[str] = Noneextract_compressed_file: bool = Falseforce_extract: bool = Falsedelete_extracted: bool = Falseextract_on_the_fly: bool = Falseuse_etag: bool = Truenum_proc: typing.Optional[int] = Nonemax_retries: int = 1token: typing.Union[str, bool, NoneType] = Nonestorage_options: dict = <factory>download_desc: typing.Optional[str] = Nonedisable_tqdm: bool = False )

Paramètres

cache_dir (str ou Path, facultatif) — Spécifie un répertoire de cache pour enregistrer le fichier (remplace le répertoire de cache par défaut).
force_download (bool, par défaut False) — Si True, télécharge à nouveau le fichier même s’il est déjà en cache dans le répertoire de cache.
resume_download (bool, par défaut False) — Si True, reprend le téléchargement si un fichier reçu de manière incomplète est trouvé.
proxies (dict, facultatif) — Obsolète et ignoré. Définissez les variables d’environnement HTTP_PROXY / HTTPS_PROXY ou configurez le client HTTP avec huggingface_hub.set_client_factory à la place.
user_agent (str, facultatif) — Chaîne ou dictionnaire facultatif qui sera ajouté à l’en-tête user-agent des requêtes distantes.
extract_compressed_file (bool, par défaut False) — Si True et que le chemin pointe vers un fichier zip ou tar, extrait le fichier compressé dans un dossier à côté de l’archive.
force_extract (bool, par défaut False) — Si True lorsque extract_compressed_file est True et que l’archive a déjà été extraite, ré-extrait l’archive et écrase le dossier dans lequel elle avait été extraite.
delete_extracted (bool, par défaut False) — Indique s'il faut supprimer (ou conserver) les fichiers extraits.
extract_on_the_fly (bool, par défaut False) — Si True, extrait les fichiers compressés pendant leur lecture.
use_etag (bool, par défaut True) — Indique s'il faut utiliser l'en-tête de réponse HTTP ETag pour valider les fichiers en cache.
num_proc (int, facultatif) — Le nombre de processus à lancer pour télécharger les fichiers en parallèle.
max_retries (int, par défaut 1) — Le nombre de tentatives de réessai d'une requête HTTP en cas d'échec.
token (str ou bool, facultatif) — Chaîne de caractères ou booléen facultatif à utiliser comme jeton Bearer pour les fichiers distants sur le Datasets Hub. Si True, ou non spécifié, le jeton est récupéré depuis ~/.huggingface.
storage_options (dict, facultatif) — Paires clé/valeur à transmettre au backend système de fichiers du jeu de données, le cas échéant.
download_desc (str, facultatif) — Une description à afficher à côté de la barre de progression pendant le téléchargement des fichiers.
disable_tqdm (bool, par défaut False) — Indique s'il faut désactiver la barre de progression du téléchargement des fichiers individuels

Configuration de notre gestionnaire de chemin en cache.

classe datasets.DownloadMode

< source >

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Enum pour définir la manière de traiter les téléchargements et les données existants.

Le mode par défaut est REUSE_DATASET_IF_EXISTS, qui réutilisera à la fois les téléchargements bruts et le jeu de données préparé s'ils existent.

Les modes de génération :

	Téléchargements	Jeu de données
`REUSE_DATASET_IF_EXISTS` (par défaut)	Réutiliser	Réutiliser
`REUSE_CACHE_IF_EXISTS`	Réutiliser	Nouveau
`FORCE_REDOWNLOAD`	Nouveau	Nouveau

Vérification

classe datasets.VerificationMode

< source >

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Enum qui spécifie les vérifications à exécuter.

Le mode par défaut est BASIC_CHECKS, qui n'effectue que des vérifications élémentaires afin d'éviter tout ralentissement lors de la génération ou du téléchargement d'un jeu de données pour la première fois.

Les modes de vérification :

	Contrôles de vérification
`ALL_CHECKS`	Vérification de la répartition et de la validité (nombre de fichiers, sommes de contrôle) des fichiers téléchargés
`BASIC_CHECKS` (par défaut)	Identique à `ALL_CHECKS` mais sans vérifier les fichiers téléchargés
`NO_CHECKS`	Aucun

Splits

classe datasets.SplitGenerator

< source >

( name: strgen_kwargs: dict = <factory> )

Paramètres

name (str) — Nom du Split pour lequel le générateur créera les exemples.
**gen_kwargs (arguments de mot-clé supplémentaires) — Arguments de mot-clé à transmettre à la méthode DatasetBuilder._generate_examples du builder.

Définit les informations de partition pour le générateur.

Cela doit être utilisé comme valeur de retour de GeneratorBasedBuilder._split_generators. Consultez GeneratorBasedBuilder._split_generators pour plus d’informations et un exemple d’utilisation.

Exemple :

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and_extract(url)},
... )

classe datasets.Split

< source >

( name )

Enum pour les divisions de jeu de données.

Les jeux de données sont généralement divisés en différents sous-ensembles à utiliser aux différentes étapes de l'entraînement et de l'évaluation.

TRAIN : les données d'entraînement.
VALIDATION : les données de validation. Si présentes, elles sont généralement utilisées comme données d'évaluation lors de l'itération sur un modèle (par exemple, en modifiant les hyperparamètres, l'architecture du modèle, etc.).
TEST : les données de test. Il s’agit des données sur lesquelles vous devez rapporter les métriques. En général, vous ne souhaitez pas les utiliser pendant l’itération du modèle, car vous risquez de sur-apprendre à partir d’elles.
ALL : l'union de toutes les divisions de jeu de données définies.

Tous les splits, y compris les compositions, héritent de datasets.SplitBase.

Consultez le guide sur les splits pour plus d'informations.

Exemple :

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.VALIDATION,
...     gen_kwargs={"split_key": "validation", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.TEST,
...     gen_kwargs={"split_key": "test", "files": dl_manager.download_and extract(url)},
... )

classe datasets.NamedSplit

< source >

( name: str )

Descripteur correspondant à une partition nommée (train, test, …).

Exemple :

Chaque descripteur peut être combiné avec d’autres à l’aide de l’addition ou de la tranche :

split = datasets.Split.TRAIN.subsplit(datasets.percent[0:25]) + datasets.Split.TEST

La partition résultante correspondra à 25 % de la partition d'entraînement fusionnée avec 100 % de la partition de test.

Un split ne peut pas être ajouté deux fois, la commande suivante échouera donc :

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TRAIN.subsplit(datasets.percent[75:])
)  # Error
split = datasets.Split.TEST + datasets.Split.ALL  # Error

Les tranches ne peuvent être appliquées qu'une seule fois. Les exemples suivants sont donc valides :

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TEST.subsplit(datasets.percent[:50])
)
split = (datasets.Split.TRAIN + datasets.Split.TEST).subsplit(datasets.percent[:50])

Mais ceci n'est pas valide :

train = datasets.Split.TRAIN
test = datasets.Split.TEST
split = train.subsplit(datasets.percent[:25]).subsplit(datasets.percent[:25])
split = (train.subsplit(datasets.percent[:25]) + test).subsplit(datasets.percent[:50])

classe datasets.NamedSplitAll

< source >

( )

Fraction correspondant à l'union de toutes les fractions de jeu de données définies.

classe datasets.ReadInstruction

< source >

( split_namerounding = Nonefrom_ = Noneto = Noneunit = None )

Instruction de lecture pour un jeu de données.

Exemples :

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec('test[:33%]'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction('test', to=33, unit='%'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%'))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]+train[1:-1]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%]+train[1:-1]'))
ds = datasets.load_dataset('ylecun/mnist', split=(
datasets.ReadInstruction('test', to=33, unit='%') +
datasets.ReadInstruction('train', from_=1, to=-1, unit='abs')))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%](pct1_dropremainder)')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%](pct1_dropremainder)'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%', rounding="pct1_dropremainder"))

# 10-fold validation:
tests = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', from_=k, to=k+10, unit='%')
for k in range(0, 100, 10)])
trains = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', to=k, unit='%') + datasets.ReadInstruction('train', from_=k+10, unit='%')
for k in range(0, 100, 10)])

from_spec

< source >

( spec )

Paramètres

spec (str) — Découpage(s) + tranche(s) facultative(s) à lire + arrondi facultatif si des pourcentages sont utilisés comme unité de découpage. Une tranche peut être spécifiée, en utilisant des nombres absolus (int) ou des pourcentages (int).

Crée une instance de ReadInstruction à partir d'une spécification sous forme de chaîne.

Exemples :

test: test split.
test + validation: test split + validation split.
test[10:]: test split, minus its first 10 records.
test[:10%]: first 10% records of test split.
test[:20%](pct1_dropremainder): first 10% records, rounded with the pct1_dropremainder rounding.
test[:-5%]+train[40%:60%]: first 95% of test + middle 20% of train.

to_absolute

< source >

( name2len )

Paramètres

name2len (dict) — Associe les noms de partitions au nombre d'exemples.

Traduire l'instruction en une liste d'instructions absolues.

Ces instructions absolues sont ensuite à additionner.

Version

classe datasets.Version

< source >

( version_str: strdescription: typing.Optional[str] = Nonemajor: typing.Union[str, int, NoneType] = Noneminor: typing.Union[str, int, NoneType] = Nonepatch: typing.Union[str, int, NoneType] = None )

Paramètres

version_str (str) — La version du jeu de données.
description (str) — Une description de ce qui est nouveau dans cette version.
major (str) —
minor (str) —
patch (str) —

Version du jeu de données MAJOR.MINOR.PATCH.

Exemple :

>>> VERSION = datasets.Version("1.0.0")

Update on GitHub

←Classes principales Méthodes de chargement→