Hugging Face's logo

Datasets documentation

Công cụ tiện ích

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Công cụ tiện ích

Cấu hình ghi log

🤗 Datasets luôn hướng tới sự minh bạch và rõ ràng về cách hoạt động, nhưng đôi khi điều này có thể khá dài dòng. Chúng tôi đã bao gồm một loạt các phương thức ghi log cho phép bạn dễ dàng điều chỉnh mức độ chi tiết của toàn bộ thư viện. Hiện tại, mức độ chi tiết mặc định của thư viện được đặt ở WARNING.

Để thay đổi mức độ chi tiết, hãy sử dụng một trong các bộ đặt trực tiếp. Ví dụ, đây là cách thay đổi mức độ chi tiết sang mức INFO:

import datasets
datasets.logging.set_verbosity_info()

Bạn cũng có thể sử dụng biến môi trường DATASETS_VERBOSITY để ghi đè mức độ chi tiết mặc định và đặt nó thành một trong các giá trị sau: debug, info, warning, error, critical:

DATASETS_VERBOSITY=error ./myprogram.py

Tất cả các phương thức của module ghi log này được tài liệu hóa bên dưới. Các phương thức chính là:

Theo thứ tự từ ít chi tiết nhất đến chi tiết nhất (kèm các giá trị int tương ứng):

  1. logging.CRITICAL hoặc logging.FATAL (giá trị int, 50): chỉ báo cáo các lỗi nghiêm trọng nhất.
  2. logging.ERROR (giá trị int, 40): chỉ báo cáo các lỗi.
  3. logging.WARNING hoặc logging.WARN (giá trị int, 30): chỉ báo cáo lỗi và cảnh báo. Đây là mức mặc định được thư viện sử dụng.
  4. logging.INFO (giá trị int, 20): báo cáo lỗi, cảnh báo và thông tin cơ bản.
  5. logging.DEBUG (giá trị int, 10): báo cáo tất cả thông tin.

datasets.utils.logging.get_verbosity

< >

( )

Trả về mức hiện tại cho trình ghi log gốc của thư viện HuggingFace datasets.

Thư viện datasets của HuggingFace có các cấp độ ghi log sau:

  • datasets.logging.CRITICAL, datasets.logging.FATAL
  • datasets.logging.ERROR
  • datasets.logging.WARNING, datasets.logging.WARN
  • datasets.logging.INFO
  • datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< >

( verbosity: int )

Tham số

  • verbosity — Mức độ ghi log, ví dụ datasets.logging.DEBUG và datasets.logging.INFO.

Đặt cấp độ cho trình ghi log gốc của thư viện Hugging Face Datasets.

datasets.utils.logging.set_verbosity_info

< >

( )

Đặt mức cho logger gốc của thư viện Hugging Face datasets thành INFO.

Điều này sẽ hiển thị hầu hết thông tin ghi log và các thanh tqdm.

Lối tắt đến datasets.logging.set_verbosity(datasets.logging.INFO).

datasets.utils.logging.set_verbosity_warning

< >

( )

Đặt mức cho logger gốc của thư viện Hugging Face datasets thành WARNING.

Điều này sẽ chỉ hiển thị thông tin ghi log về cảnh báo và lỗi cùng các thanh tqdm.

Lối tắt đến datasets.logging.set_verbosity(datasets.logging.WARNING).

datasets.utils.logging.set_verbosity_debug

< >

( )

Đặt mức cho logger gốc của thư viện Hugging Face datasets thành DEBUG.

Điều này sẽ hiển thị tất cả thông tin ghi log và các thanh tqdm.

Lối tắt đến datasets.logging.set_verbosity(datasets.logging.DEBUG).

datasets.utils.logging.set_verbosity_error

< >

( )

Đặt mức cho logger gốc của thư viện Hugging Face datasets thành ERROR.

Điều này sẽ chỉ hiển thị thông tin ghi log lỗi và các thanh tqdm.

Lối tắt đến datasets.logging.set_verbosity(datasets.logging.ERROR).

datasets.utils.logging.disable_propagation

< >

( )

Tắt việc lan truyền các đầu ra nhật ký của thư viện. Lưu ý rằng việc lan truyền nhật ký bị tắt theo mặc định.

datasets.utils.logging.enable_propagation

< >

( )

Bật việc lan truyền các đầu ra nhật ký của thư viện. Vui lòng tắt trình xử lý mặc định của thư viện Hugging Face datasets để tránh ghi nhật ký trùng lặp nếu trình ghi nhật ký gốc đã được cấu hình.

Cấu hình thanh tiến trình

Mặc định, thanh tiến trình tqdm sẽ được hiển thị trong quá trình tải xuống và tiền xử lý bộ dữ liệu. Bạn có thể tắt chúng toàn cục bằng cách đặt biến môi trường HF_DATASETS_DISABLE_PROGRESS_BARS. Bạn cũng có thể bật/tắt chúng bằng enable_progress_bars() và disable_progress_bars(). Nếu được đặt, biến môi trường có ưu tiên cao hơn so với các hàm trợ giúp.

datasets.enable_progress_bars

< >

( )

Bật thanh tiến trình toàn cục được sử dụng trong datasets, trừ khi biến môi trường HF_DATASETS_DISABLE_PROGRESS_BARS đã được đặt.

Sử dụng disable_progress_bars() để tắt chúng.

datasets.disable_progress_bars

< >

( )

Tắt thanh tiến trình toàn cục được sử dụng trong datasets, trừ khi biến môi trường HF_DATASETS_DISABLE_PROGRESS_BARS đã được đặt.

Sử dụng enable_progress_bars() để bật lại chúng.

datasets.are_progress_bars_disabled

< >

( )

Trả về trạng thái thanh tiến trình có bị vô hiệu hóa toàn cục hay không.

Thanh tiến trình được sử dụng trong datasets có thể được bật hoặc tắt toàn cục bằng cách sử dụng enable_progress_bars() và disable_progress_bars() hoặc bằng cách đặt HF_DATASETS_DISABLE_PROGRESS_BARS dưới dạng biến môi trường.

Update on GitHub

←Các lớp bảng