Datasets documentation
Обзор
Начало работы
Учебные материалы
ОбзорЗагрузка набора данных из HubЗнакомство с набором данныхПредобработкаСоздание набора данныхОпубликовать набор данных в Hub
Руководства
Обзор
Общее использование
ЗагрузкаПроцессПотокИспользование с PyTorchИспользование с TensorFlowИспользование с NumPyИспользование с JAXИспользование с PandasИспользование с PolarsИспользование с PyArrowИспользование со SparkУправление кэшемОблачное хранилищеИндекс поискаCLIУстранение неполадок
Аудио
Зрение
Загрузка данных изображенийОбработка данных изображенийСоздание набора данных изображенийОценка глубиныКлассификация изображенийСемантическая сегментацияОбнаружение объектовЗагрузка данных видеоСоздание набора данных видеоЗагрузка данных документаСоздание набора данных документовСоздание набора данных для медицинской визуализации
3D
Текст
Табличные данные
Временные ряды
Оценка агентов
Репозиторий набора данных
Концептуальные руководства
Датасеты 🤝 ArrowКэшDataset или IterableDatasetОсобенности набора данныхСоздание и загрузкаПакетное отображение
Справочник
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v4.8.4).
Обзор
Руководства «Как сделать» дают более подробный обзор всех инструментов, которые предлагает 🤗 Datasets, и способов их использования. Это поможет вам работать с более сложными реальными наборами данных, где для подготовки к обучению может потребоваться изменять структуру или содержимое датасета.
В руководствах предполагается, что вы знакомы с основами 🤗 Datasets и уверенно в них ориентируетесь. Новичкам мы рекомендуем сначала ознакомиться с нашими туториалами.
Хотите узнать больше? Ознакомьтесь с главой 5 курса Hugging Face!
Руководства сгруппированы в шесть разделов:
- Общее использование: функции для общей загрузки и обработки данных. Функции, показанные в этом разделе, применимы ко всем модальностям данных.
- Аудио: как загружать, обрабатывать и делиться наборами данных с аудио.
- Зрение: как загружать, обрабатывать и делиться наборами данных изображений и видео.
- Текст: Как загружать, обрабатывать и делиться текстовыми наборами данных.
- Tabular: как загружать, обрабатывать и делиться табличными наборами данных.
- Репозиторий датасета: как поделиться датасетом и загрузить его в Hub.
Если у вас есть вопросы о 🤗 Datasets, присоединяйтесь к сообществу на нашем форуме и задавайте их.
Update on GitHub