Аутентификация

Для доступа к закрытым или ограниченным наборам данных необходимо сначала пройти аутентификацию. Аутентификация выполняется с помощью токена доступа, который используется для подтверждения вашей личности и предоставления доступа к ограниченным и закрытым наборам данных. Первый шаг — создать токен доступа для вашей учётной записи. Это можно сделать, перейдя по ссылке Hugging Face Settings - Tokens.

Существует три способа передать токен: задать переменную окружения, передать параметр в читатель или использовать CLI Hugging Face.

Переменная окружения

Если вы зададите переменную окружения HF_TOKEN, Polars будет автоматически использовать её при запросе датасетов из Hugging Face.

export HF_TOKEN="hf_xxxxxxxxxxxxx"

Параметры

Вы также можете явно передать токен доступа в читатель (например, read_parquet) через параметр storage_options. Полный обзор всех параметров доступен в справочнике API.

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

В качестве альтернативы можно использовать Hugging Face CLI для аутентификации. После успешного входа с помощью hf auth login токен доступа сохраняется в каталоге HF_HOME, по умолчанию ~/.cache/huggingface. Затем Polars использует этот токен для аутентификации.

Если указано несколько методов, они приоритизируются в следующем порядке:

• Параметры (storage_options)
• Переменная окружения (HF_TOKEN)
• CLI