Datasets documentation

فئات البناء

Datasets

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

فئات البناء

المُطوِّرون

🤗 يعتمد Datasets على صفحتين رئيسيتين أثناء عملية بناء مجموعة البيانات: DatasetBuilder و BuilderConfig.

فئة datasets.DatasetBuilder

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

المعاملات

cache_dir (str، اختياري) — المجلد الذي يُخزَّن فيه البيانات مؤقتًا. القيمة الافتراضية هي "~/.cache/huggingface/datasets".
dataset_name (str, اختياري) — اسم مجموعة البيانات، إذا كان مختلفًا عن اسم المُنشئ. مفيد للمُنشئين المُعبّأة مثل csv وimagefolder وaudiofolder وغيرها، لعكس الفرق بين مجموعات البيانات التي تستخدم نفس المُنشئ المُعبّأ.
config_name (str, اختياري) — اسم إعداد مجموعة البيانات. يؤثر على البيانات التي يتم إنشاؤها على القرص. لكل إعدادات مختلفة مجلدات فرعية وإصدارات خاصة بها. إذا لم يتم تقديمه، يتم استخدام الإعداد الافتراضي (إذا كان موجودًا).

أُضيف في 2.3.0

تمت إعادة تسمية المعامل name إلى config_name.
hash (str, اختياري) — تجزئة خاصة بكود منشئ مجموعة البيانات. تُستخدم لتحديث مجلد التخزين المؤقت عند تحديث كود منشئ مجموعة البيانات (لتجنب إعادة استخدام البيانات القديمة). المجلد النموذجي للتخزين المؤقت (المعرّف في self._relative_data_dir) هو name/version/hash/.
base_path (str، اختياري) — المسار الأساسي للمسارات النسبية المستخدمة لتنزيل الملفات. يمكن أن يكون هذا عنوان URL عن بُعد.
features (Features، اختياري) — أنواع الميزات المستخدمة مع هذا المجموعة. يمكن استخدامه لتغيير أنواع Features في مجموعة البيانات، على سبيل المثال.
token (str أو bool، اختياري) — نص أو قيمة منطقية تُستخدم كرمز Bearer للملفات البعيدة على Datasets Hub. إذا كانت True، فسيتم الحصول على الرمز من "~/.huggingface".
repo_id (str، اختياري) — معرّف مستودع مجموعة البيانات. يُستخدم للتمييز بين المُنشِئين الذين يحملون الاسم نفسه لكنهم لا ينتمون إلى نفس مساحة الأسماء، على سبيل المثال معرّفات المستودعات “rajpurkar/squad” و “lhoestq/squad”. في الحالة الأخيرة، سيكون اسم المُنشِئ “lhoestq___squad”.
data_files (str أو Sequence أو Mapping، اختياري) — مسار(ات) إلى ملف(ات) البيانات المصدرية. للمُنشِئين مثل “csv” أو “json” الذين يحتاجون إلى تحديد المستخدم لملفات البيانات. يمكن أن تكون ملفات محلية أو عن بُعد. من أجل الراحة، يمكنك استخدام DataFilesDict.
data_dir (str, اختياري) — المسار إلى المجلد الذي يحتوي على ملف(ات) البيانات المصدرية. استخدمه فقط إذا لم يتم تمرير data_files، وفي هذه الحالة يكون مكافئًا لتمرير os.path.join(data_dir, "**") كـ data_files. بالنسبة للمُنشِئات التي تتطلب تنزيلًا يدويًا، يجب أن يكون المسار إلى المجلد المحلي الذي يحتوي على البيانات التي تم تنزيلها يدويًا.
storage_options (dict، اختياري) — أزواج مفتاح/قيمة تُمرَّر إلى نظام ملفات مجموعة البيانات، إن وُجد.
writer_batch_size (int, اختياري) — حجم الدفعة الذي يستخدمه ArrowWriter. يحدد عدد العينات التي تُحفظ في الذاكرة قبل كتابتها، وكذلك طول مقاطع arrow. قيمة None تعني أن ArrowWriter سيستخدم قيمته الافتراضية.
**config_kwargs (حجج إضافية بالكلمات المفتاحية) — حجج بالكلمات المفتاحية تُمرَّر إلى فئة تكوين المُنشئ المقابلة، والتي تُعيَّن على سمة الفئة DatasetBuilder.BUILDER_CONFIG_CLASS. فئة تكوين المُنشئ هي BuilderConfig أو فئة فرعية منها.

فئة أساسية مجردة لجميع مجموعات البيانات.

لـDatasetBuilder ثلاث طرق رئيسية:

DatasetBuilder.info: يوثّق مجموعة البيانات، بما في ذلك أسماء الميزات وأنواعها وأحجامها والإصدار والتقسيمات والمصدر الاستشهادي وما إلى ذلك.
DatasetBuilder.download_and_prepare(): يقوم بتنزيل البيانات المصدرية وكتابتها على القرص.
DatasetBuilder.as_dataset(): يولّد Dataset.

تعرّف بعض DatasetBuilders على عدة نسخ من مجموعة البيانات من خلال تعريف فئة فرعية من BuilderConfig وقبول كائن إعداد (أو اسم) عند الإنشاء. تعرّف مجموعات البيانات القابلة للتهيئة على مجموعة محددة مسبقًا من الإعدادات في DatasetBuilder.builder_configs().

as_dataset

( split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonein_memory = False )

المعاملات

split (datasets.Split) — المجموعة الفرعية من البيانات التي يجب إرجاعها.
verification_mode (VerificationMode أو str, الافتراضي هو BASIC_CHECKS) — وضع التحقق الذي يحدد الفحوصات التي يجب إجراؤها على معلومات المجموعة البيانات المُحمّلة/المعالجة (القيم التجزئة/الحجم/التقسيمات/...).

أُضيف في 2.9.1
in_memory (bool، الافتراضي False) — ما إذا كان سيتم نسخ البيانات في الذاكرة.

إرجاع مجموعة بيانات (Dataset) للتقسيم (split) المحدد.

مثال:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> builder.download_and_prepare()
>>> ds = builder.as_dataset(split='train')
>>> ds
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

download_and_prepare

( output_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonedl_manager: typing.Optional[datasets.download.download_manager.DownloadManager] = Nonebase_path: typing.Optional[str] = Nonefile_format: str = 'arrow'max_shard_size: typing.Union[str, int, NoneType] = Nonenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**download_and_prepare_kwargs )

المعاملات

output_dir (str, اختياري) — مجلد الإخراج للمجموعة. الافتراضي هو cache_dir, الذي يقع داخل ~/.cache/huggingface/datasets بشكل افتراضي.

أُضيف في 2.5.0
download_config (DownloadConfig، اختياري) — معلمات إعداد التنزيل المحددة.
download_mode (DownloadMode أو str، اختياري) — اختر وضع التنزيل/التوليد، الافتراضي هو REUSE_DATASET_IF_EXISTS.
verification_mode (VerificationMode أو str, الافتراضي هو BASIC_CHECKS) — وضع التحقق الذي يحدد الفحوصات التي يجب إجراؤها على معلومات المجموعة البيانات المُحمّلة/المعالجة (القيم التجزئة/الحجم/التقسيمات/...).

أُضيف في 2.9.1
dl_manager (DownloadManager، اختياري) — DownloadManger محددة للاستخدام.
base_path (str، اختياري) — المسار الأساسي للمسارات النسبية المستخدمة لتنزيل الملفات. يمكن أن يكون هذا رابطًا عن بُعد. إذا لم يُحدد، فسيتم استخدام قيمة خاصية base_path (self.base_path) بدلاً من ذلك.
file_format (str, اختياري) — تنسيق ملفات البيانات التي سيتم كتابة مجموعة البيانات فيها. التنسيقات المدعومة: "arrow"، "parquet". الافتراضي هو تنسيق "arrow". إذا كان التنسيق هو "parquet"، يتم تضمين بيانات الصور والصوت في ملفات Parquet بدلاً من الإشارة إلى ملفات محلية.

أُضيف في 2.5.0
max_shard_size (Union[str, int], اختياري) — الحد الأقصى لعدد البايتات المكتوبة في كل شريحة، والقيمة الافتراضية هي "500MB". يعتمد الحجم على حجم البيانات غير المضغوطة، لذا قد تكون ملفات الشرائح أصغر من max_shard_size بسبب ضغط Parquet على سبيل المثال.

أُضيف في 2.5.0
num_proc (int, اختياري, الافتراضي هو None) — عدد العمليات عند تنزيل مجموعة البيانات وتوليدها محليًا. تُعطَّل المعالجة متعددة العمليات افتراضيًا.

أُضيف في 2.7.0
storage_options (dict, اختياري) — أزواج مفتاح/قيمة تُمرَّر إلى نظام الملفات الخلفي للتخزين المؤقت، إن وُجد.

أُضيف في 2.5.0
**download_and_prepare_kwargs (معلمات إضافية) — معلمات إضافية.

تنزيل مجموعة البيانات وتجهيزها للقراءة.

مثال:

حمّل مجموعة البيانات وجهّزها كملفات Arrow يمكن تحميلها كـ Dataset باستخدام builder.as_dataset():

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare()

قم بتنزيل مجموعة البيانات وتجهيزها كملفات Parquet مقسمة محليًا:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("./output_dir", file_format="parquet")

قم بتنزيل مجموعة البيانات وتجهيزها كملفات Parquet مقسمة إلى شرائح في تخزين سحابي:

>>> from datasets import load_dataset_builder
>>> storage_options = {"key": aws_access_key_id, "secret": aws_secret_access_key}
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("s3://my-bucket/my_rotten_tomatoes", storage_options=storage_options, file_format="parquet")

get_imported_module_dir

( )

إرجاع مسار وحدة هذه الفئة أو فئة فرعية منها.

فئة datasets.GeneratorBasedBuilder

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

الفئة الأساسية للمجموعات البيانات التي تعتمد على توليد البيانات بناءً على مولدات القواميس.

GeneratorBasedBuilder هي فئة مريحة تختصر الكثير من عمليات كتابة البيانات وقراءتها في DatasetBuilder. تتوقع أن تنفّذ الفئات الفرعية مولّدات لقاموس الميزات عبر تقسيمات مجموعة البيانات (_split_generators). راجع توثيق الدوال للتفاصيل.

فئة datasets.ArrowBasedBuilder

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

الفئة الأساسية للمجموعات البيانات التي تعتمد توليدها على دوال تحميل Arrow (CSV/JSON/Parquet).

فئة datasets.BuilderConfig

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = None )

المعاملات

name (str)، القيمة الافتراضية default) — اسم الإعداد.
version (Version أو str، الافتراضي 0.0.0) — إصدار التهيئة.
data_dir (str، اختياري) — المسار إلى المجلد الذي يحتوي على البيانات المصدرية.
data_files (str أو Sequence أو Mapping، اختياري) — مسار(ات) إلى ملف(ات) البيانات المصدرية.
description (str، اختياري) — وصف بشري للتكوين.

الفئة الأساسية لتكوين بيانات DatasetBuilder.

يجب أن ترث فئات DatasetBuilder الفرعية التي تتضمن خيارات تكوين البيانات من BuilderConfig وتضيف خصائصها الخاصة.

create_config_id

( config_kwargs: dictcustom_features: typing.Optional[datasets.features.features.Features] = None )

يُستخدم معرّف الإعداد (config id) لبناء مجلد التخزين المؤقت. افتراضيًا، يكون مساويًا لاسم الإعداد. ومع ذلك، فإن اسم الإعداد وحده لا يكفي ليكون معرّفًا فريدًا للبيانات التي يتم إنشاؤها لأنه لا يأخذ في الاعتبار:

معلمات الإعدادات (config kwargs) التي يمكن استخدامها لتجاوز السمات
الميزات المخصصة المستخدمة لكتابة مجموعة البيانات
data_files لبيانات json/text/csv/pandas

لذلك، معرّف الإعداد هو ببساطة اسم الإعداد مع لاحقة اختيارية مبنية على هذه.

تنزيل

فئة datasets.DownloadManager

( dataset_name: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonebase_path: typing.Optional[str] = Nonerecord_checksums = False )

تنزيل

( url_or_urls ) → str or list or dict

المعاملات

url_or_urls (str أو list أو dict) — رابط أو list أو dict من الروابط للتحميل. كل رابط هو str.

يعيد

str أو list أو dict

المسارات التي تم تنزيلها والمتطابقة مع المدخلات المحددة url_or_urls.

تنزيل العنوان (العناوين) المحدد.

بشكل افتراضي، يُستخدم عملية واحدة فقط للتنزيل. مرّر download_config.num_proc مخصصًا لتغيير هذا السلوك.

مثال:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

download_and_extract

( url_or_urls ) → extracted_path(s)

المعاملات

url_or_urls (str أو list أو dict) — رابط أو list أو dict من الروابط التي سيتم تنزيلها واستخراجها. كل رابط هو str.

يعيد

extracted_path(s)

str، المسارات المستخرجة من الرابط (أو الروابط) المحدد.

حمّل واستخرج url_or_urls المحددة.

يعادل تقريباً:

extracted_paths = dl_manager.extract(dl_manager.download(url_or_urls))

استخراج

( path_or_paths ) → extracted_path(s)

المعاملات

path_or_paths (مسار أو list أو dict) — مسار الملف الذي سيتم الاستخراج منه. كل مسار هو str.

يعيد

extracted_path(s)

str، المسارات المستخرجة المطابقة للمسار أو المسارات المدخلة path_or_paths.

استخراج المسار(المسارات) المحدد(ة).

مثال:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

( path_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

المعاملات

path_or_buf (str أو io.BufferedReader) — مسار الأرشيف أو كائن الملف الثنائي للأرشيف.

يُنتج

tuple[str, io.BufferedReader]

زوج من عنصرين (path_within_archive, file_object). يتم فتح كائن الملف في الوضع الثنائي.

التكرار على الملفات داخل الأرشيف.

مثال:

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

( paths: typing.Union[str, list[str]] ) → str

المعاملات

paths (str أو list من str) — المسارات الجذرية.

يُنتج

str

مسار الملف.

تكرار على مسارات الملفات.

مثال:

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

فئة datasets.StreamingDownloadManager

( dataset_name: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonebase_path: typing.Optional[str] = None )

مدير تنزيل يستخدم فاصل ”::” للتنقل عبر الأرشيفات المضغوطة (التي قد تكون عن بُعد). على عكس DownloadManager العادي، لا تقوم طريقتا download وextract فعليًا بتنزيل البيانات أو استخراجها، بل تعيدان بدلاً من ذلك المسار أو الرابط الذي يمكن فتحه باستخدام دالة xopen التي توسّع الدالة المدمجة open لتبث البيانات من الملفات عن بُعد.

تنزيل

( url_or_urls ) → url(s)

المعاملات

url_or_urls (str أو list أو dict) — عناوين URL للملفات التي سيتم بث البيانات منها. كل عنوان URL هو str.

يعيد

عناوين (urls)

(str أو list أو dict)، عنوان أو عناوين URL لبث البيانات من العنوان أو العناوين المدخلة المطابقة.

تطبيع عناوين URL للملفات التي سيتم بث البيانات منها. هذا هو الإصدار الكسول من DownloadManager.download للبث.

مثال:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

download_and_extract

( url_or_urls ) → url(s)

المعاملات

url_or_urls (str أو list أو dict) — رابط أو روابط لجلب البيانات منها. كل رابط هو str.

يعيد

عناوين (urls)

(str أو list أو dict)، عنوان أو عناوين URL لبث البيانات من المصدر المطابق للمدخل url_or_urls المحدد.

جهّز url_or_urls المُعطاة للبث (إضافة بروتوكول الاستخراج).

هذا هو الإصدار الكسول من DownloadManager.download_and_extract للبث.

يعادل:

urls = dl_manager.extract(dl_manager.download(url_or_urls))

استخراج

( url_or_urls ) → url(s)

المعاملات

url_or_urls (str أو list أو dict) — عناوين URL للملفات التي سيتم بث البيانات منها. كل عنوان URL هو str.

يعيد

عناوين (urls)

(str أو list أو dict)، عنوان أو عناوين URL لبث البيانات من المصدر المطابق للمدخل url_or_urls المحدد.

أضف بروتوكول الاستخراج للروابط (url) المحددة للبث.

هذا هو الإصدار الكسول من DownloadManager.extract للبث.

مثال:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

( urlpath_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

المعاملات

urlpath_or_buf (str أو io.BufferedReader) — مسار الأرشيف أو كائن الملف الثنائي للأرشيف.

يُنتج

tuple[str, io.BufferedReader]

زوج من عنصرين (path_within_archive, file_object). يتم فتح كائن الملف في الوضع الثنائي.

التكرار على الملفات داخل الأرشيف.

مثال:

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

( urlpaths: typing.Union[str, list[str]] ) → str

المعاملات

urlpaths (str أو list من str) — المسارات الجذرية.

يُنتج

str

مسار عنوان URL للملف.

التكرار على الملفات.

مثال:

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

فئة datasets.DownloadConfig

( cache_dir: typing.Union[str, pathlib.Path, NoneType] = Noneforce_download: bool = Falseresume_download: bool = Falselocal_files_only: bool = Falseproxies: typing.Optional[dict] = Noneuser_agent: typing.Optional[str] = Noneextract_compressed_file: bool = Falseforce_extract: bool = Falsedelete_extracted: bool = Falseextract_on_the_fly: bool = Falseuse_etag: bool = Truenum_proc: typing.Optional[int] = Nonemax_retries: int = 1token: typing.Union[str, bool, NoneType] = Nonestorage_options: dict = <factory>download_desc: typing.Optional[str] = Nonedisable_tqdm: bool = False )

المعاملات

cache_dir (str أو Path، اختياري) — تحديد مجلد مؤقت لحفظ الملف فيه (يتجاوز المجلد المؤقت الافتراضي).
force_download (bool، القيمة الافتراضية False) — إذا كانت True، أعد تنزيل الملف حتى لو كان مخزّنًا مسبقًا في مجلد التخزين المؤقت.
resume_download (bool، القيمة الافتراضية False) — إذا كانت True، فاستئناف التحميل إذا تم العثور على ملف غير مكتمل الاستلام.
proxies (dict, اختياري) — تم إيقاف استخدامه وتجاهله. اضبط متغيرات البيئة HTTP_PROXY / HTTPS_PROXY أو اضبط عميل HTTP باستخدام huggingface_hub.set_client_factory بدلاً من ذلك.
user_agent (str، اختياري) — نص أو قاموس اختياري سيُضاف إلى user-agent في الطلبات عن بُعد.
extract_compressed_file (bool، القيمة الافتراضية False) — إذا كانت True وكان المسار يشير إلى ملف zip أو tar، فستتم فك ضغط الملف المضغوط في مجلد بجانب الأرشيف.
force_extract (bool، القيمة الافتراضية False) — إذا كانت True عندما تكون extract_compressed_file هي True وكان الملف المضغوط قد تم استخراجه مسبقًا، فسيتم إعادة استخراج الملف المضغوط وتجاوز المجلد الذي تم استخراجه فيه.
delete_extracted (bool، القيمة الافتراضية False) — ما إذا كان سيتم حذف (أو الاحتفاظ بـ) الملفات المستخرجة.
extract_on_the_fly (bool، القيمة الافتراضية False) — إذا كانت True، يتم استخراج الملفات المضغوطة أثناء قراءتها.
use_etag (bool، القيمة الافتراضية True) — ما إذا كان سيتم استخدام ترويسة استجابة HTTP الخاصة بـ ETag للتحقق من الملفات المخزنة مؤقتًا.
num_proc (int، اختياري) — عدد العمليات التي سيتم إطلاقها لتنزيل الملفات بالتوازي.
max_retries (int، الافتراضي 1) — عدد مرات إعادة محاولة طلب HTTP في حال فشله.
token (str أو bool، اختياري) — نص أو قيمة منطقية اختيارية لاستخدامها كرمز Bearer للملفات البعيدة على Datasets Hub. إذا كانت True، أو لم تُحدد، فسيتم الحصول على الرمز من ~/.huggingface.
storage_options (dict، اختياري) — أزواج مفتاح/قيمة تُمرَّر إلى نظام ملفات مجموعة البيانات، إن وُجد.
download_desc (str، اختياري) — وصف يُعرض إلى جانب شريط التقدم أثناء تنزيل الملفات.
disable_tqdm (bool، القيمة الافتراضية False) — ما إذا كان سيتم تعطيل شريط تقدم تنزيل الملفات الفردية

إعدادات مدير المسار المخزّن مؤقتًا لدينا.

فئة datasets.DownloadMode

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Enum يحدد كيفية التعامل مع التنزيلات والبيانات الموجودة مسبقًا.

الوضع الافتراضي هو REUSE_DATASET_IF_EXISTS، والذي يعيد استخدام كل من التحميلات الخام والمجموعة البيانات المُعدّة إذا كانت موجودة.

أوضاع التوليد:

	التحميلات	مجموعة البيانات
`REUSE_DATASET_IF_EXISTS` (الافتراضي)	إعادة الاستخدام	إعادة الاستخدام
`REUSE_CACHE_IF_EXISTS`	إعادة الاستخدام	جديد
`FORCE_REDOWNLOAD`	جديد	جديد

التحقق

فئة datasets.VerificationMode

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Enum يحدد فحوصات التحقق التي يجب تشغيلها.

الوضع الافتراضي هو BASIC_CHECKS، والذي يقوم بإجراء فحوصات أساسية فقط لتجنب التباطؤ عند إنشاء/تنزيل مجموعة بيانات لأول مرة.

أنماط التحقق:

	فحوصات التحقق
`ALL_CHECKS`	فحص تقسيم الملفات وصحتها (عدد الملفات، رموز التحقق) للملفات التي تم تنزيلها
`BASIC_CHECKS` (الافتراضي)	نفس `ALL_CHECKS` ولكن دون فحص الملفات التي تم تنزيلها
`NO_CHECKS`	لا شيء

التقسيمات

فئة datasets.SplitGenerator

( name: strgen_kwargs: dict = <factory> )

المعاملات

name (str) — اسم Split الذي سيقوم المولّد بإنشاء الأمثلة له.
**gen_kwargs (معلمات إضافية) — معلمات تُمرَّر إلى طريقة DatasetBuilder._generate_examples في المُنشئ.

يحدد معلومات التقسيم للمولّد.

يجب استخدام هذا كقيمة مُعادَة في GeneratorBasedBuilder._split_generators. راجع GeneratorBasedBuilder._split_generators لمزيد من المعلومات ومثال على الاستخدام.

مثال:

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and_extract(url)},
... )

فئة datasets.Split

( name )

Enum لتقسيمات مجموعة البيانات.

يتم تقسيم مجموعات البيانات عادةً إلى مجموعات فرعية مختلفة لاستخدامها في مراحل التدريب والتقييم المختلفة.

TRAIN: بيانات التدريب.
VALIDATION: بيانات التحقق. إذا كانت موجودة، فعادةً ما تُستخدم كبيانات تقييم أثناء العمل على النموذج (مثل تغيير المعلمات الفائقة، أو بنية النموذج، وما إلى ذلك).
TEST: بيانات الاختبار. هذه هي البيانات التي تُبلَّغ عنها المقاييس. عادةً لا ترغب في استخدام هذه البيانات أثناء تكرارات النموذج، إذ قد يؤدي ذلك إلى ملاءمة زائدة لها.
ALL: اتحاد جميع تقسيمات مجموعة البيانات المعرّفة.

تورث جميع التقسيمات، بما في ذلك التكوينات، من datasets.SplitBase.

راجع الدليل الخاص بالتقسيمات لمزيد من المعلومات.

مثال:

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.VALIDATION,
...     gen_kwargs={"split_key": "validation", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.TEST,
...     gen_kwargs={"split_key": "test", "files": dl_manager.download_and extract(url)},
... )

فئة datasets.NamedSplit

( name: str )

المُصِفّ (Descriptor) المقابل لتقسيم مُسمّى (تدريب، اختبار، …).

مثال:

يمكن تكوين كل وصف مع غيره باستخدام الجمع أو التقطيع:

split = datasets.Split.TRAIN.subsplit(datasets.percent[0:25]) + datasets.Split.TEST

ستتوافق التقسيمات الناتجة عن 25% من تقسيم التدريب مدموجًا مع 100% من تقسيم الاختبار.

لا يمكن إضافة تقسيم مرتين، لذا فإن ما يلي سيفشل:

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TRAIN.subsplit(datasets.percent[75:])
)  # Error
split = datasets.Split.TEST + datasets.Split.ALL  # Error

يمكن تطبيق الشرائح مرة واحدة فقط. لذا فإن ما يلي صالح:

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TEST.subsplit(datasets.percent[:50])
)
split = (datasets.Split.TRAIN + datasets.Split.TEST).subsplit(datasets.percent[:50])

لكن هذا غير صالح:

train = datasets.Split.TRAIN
test = datasets.Split.TEST
split = train.subsplit(datasets.percent[:25]).subsplit(datasets.percent[:25])
split = (train.subsplit(datasets.percent[:25]) + test).subsplit(datasets.percent[:50])

فئة datasets.NamedSplitAll

( )

التقسيم المقابل لاتحاد جميع تقسيمات مجموعة البيانات المعرّفة.

فئة datasets.ReadInstruction

( split_namerounding = Nonefrom_ = Noneto = Noneunit = None )

تعليمات قراءة مجموعة بيانات.

أمثلة:

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec('test[:33%]'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction('test', to=33, unit='%'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%'))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]+train[1:-1]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%]+train[1:-1]'))
ds = datasets.load_dataset('ylecun/mnist', split=(
datasets.ReadInstruction('test', to=33, unit='%') +
datasets.ReadInstruction('train', from_=1, to=-1, unit='abs')))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%](pct1_dropremainder)')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%](pct1_dropremainder)'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%', rounding="pct1_dropremainder"))

# 10-fold validation:
tests = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', from_=k, to=k+10, unit='%')
for k in range(0, 100, 10)])
trains = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', to=k, unit='%') + datasets.ReadInstruction('train', from_=k+10, unit='%')
for k in range(0, 100, 10)])

from_spec

( spec )

المعاملات

spec (str) — تقسيم(ات) + شريحة(ات) اختيارية للقراءة + تقريب اختياري إذا تم استخدام النسب المئوية كوحدة للتقطيع. يمكن تحديد شريحة باستخدام أرقام مطلقة (int) أو نسب مئوية (int).

ينشئ كائن ReadInstruction من مواصفة نصية.

أمثلة:

test: test split.
test + validation: test split + validation split.
test[10:]: test split, minus its first 10 records.
test[:10%]: first 10% records of test split.
test[:20%](pct1_dropremainder): first 10% records, rounded with the pct1_dropremainder rounding.
test[:-5%]+train[40%:60%]: first 95% of test + middle 20% of train.

to_absolute

( name2len )

المعاملات

name2len (dict) — ربط أسماء التقسيمات بعدد الأمثلة.

قم بترجمة التعليمات إلى قائمة تعليمات مطلقة.

ثم تُجمع تلك التعليمات المطلقة معًا.

الإصدار

فئة datasets.Version

( version_str: strdescription: typing.Optional[str] = Nonemajor: typing.Union[str, int, NoneType] = Noneminor: typing.Union[str, int, NoneType] = Nonepatch: typing.Union[str, int, NoneType] = None )

المعاملات

version_str (str) — إصدار مجموعة البيانات.
description (str) — وصف لما هو جديد في هذا الإصدار.
major (str) —
minor (str) —
patch (str) —

إصدار مجموعة البيانات MAJOR.MINOR.PATCH.

مثال:

>>> VERSION = datasets.Version("1.0.0")

Update on GitHub

←الفئات الرئيسية طرق التحميل→