Transformers documentation

Prosesor

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Prosesor

Model multimodal memerlukan preprocessor yang mampu menangani input yang menggabungkan lebih dari satu modalitas. Tergantung pada modalitas input, processor perlu mengonversi teks menjadi array tensor, gambar menjadi nilai piksel, dan audio menjadi array tensor dengan sampling rate yang benar.

Sebagai contoh, PaliGemma adalah model bahasa-visi yang menggunakan pemroses gambar SigLIP dan tokenizer Llama. Kelas ProcessorMixin membungkus kedua jenis preprocessor ini, menyediakan satu kelas pemroses yang tunggal dan terpadu untuk model multimodal.

Panggil from_pretrained() untuk memuat processor. Sampaikan tipe input ke processor untuk menghasilkan input model yang diharapkan, input ids, dan pixel values.

from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests

processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")

prompt = "answer en Where is the cat standing?"
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=prompt, images=image, return_tensors="pt")
inputs

Panduan ini menjelaskan kelas processor dan cara melakukan pra-pemrosesan input multimodal.

Kelas Processor

Semua processor mewarisi dari kelas ProcessorMixin yang menyediakan metode seperti from_pretrained(), save_pretrained(), dan push_to_hub() untuk memuat, menyimpan, dan membagikan processor ke Hub.

Ada dua cara untuk memuat processor, yaitu dengan AutoProcessor dan dengan kelas processor yang spesifik untuk model tertentu.

AutoProcessor
processor khusus model

API AutoClass menyediakan antarmuka sederhana untuk memuat prosesor tanpa perlu secara langsung menentukan kelas model spesifik yang dimilikinya.

Use from_pretrained() to load a processor.

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")

Simpan dan muat processor

save_pretrained() menulis konfigurasi processor ke dalam satu file processor_config.json. Tokenizer dan chat template disimpan di file masing-masing.

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-0.5b-ov-hf")
processor.save_pretrained("./llava-onevision")
llava-onevision/
├── chat_template.jinja
├── processor_config.json
├── tokenizer.json
└── tokenizer_config.json

Setiap sub-prosesor, kecuali tokenizer, bersarang di dalam processor_config.json di bawah nama atributnya, seperti image_processor, video_processor, atau feature_extractor. Pengaturan yang merupakan milik prosesor itu sendiri, seperti image_token, berada di tingkat teratas. Contoh di bawah ini telah dipendekkan.

{
  "image_processor": {
    "image_processor_type": "LlavaOnevisionImageProcessor",
    "do_resize": true,
    "size": {"height": 384, "width": 384},
    "image_mean": [0.5, 0.5, 0.5]
  },
  "image_token": "<image>",
  "processor_class": "LlavaOnevisionProcessor",
  "video_processor": {
    "video_processor_type": "LlavaOnevisionVideoProcessor",
    "do_resize": true,
    "size": {"height": 384, "width": 384},
    "image_mean": [0.5, 0.5, 0.5]
  },
  "video_token": "<video>"
}

File lainnya disimpan secara terpisah.

  • Tokenizer menulis file-file standarnya, seperti tokenizer.json dan tokenizer_config.json. Jika sebuah processor memiliki tokenizer kedua, tokenizer tersebut disimpan dalam subfolder yang dinamai sesuai atributnya, seperti decoder_tokenizer/.
  • Template chat disimpan ke chat_template.jinja. Jika sebuah processor memiliki beberapa template chat, template default ditempatkan di chat_template.jinja dan yang lainnya ditempatkan di folder chat_templates/.

Saat Anda memuat sebuah processor dengan from_pretrained(), setiap sub-processor terlebih dahulu mencari kunci bersarangnya di processor_config.json. Jika kunci tersebut tidak ada, sistem akan beralih ke file mandiri. Image processor dan feature extractor membaca preprocessor_config.json, sedangkan video processor membaca video_preprocessor_config.json dan kemudian preprocessor_config.json. Checkpoint lama yang menyimpan setiap sub-processor di file terpisah tetap dimuat dengan cara ini.

Konfigurasi bersarang memiliki prioritas lebih tinggi daripada file mandiri. Jika sebuah checkpoint memiliki keduanya, mengedit preprocessor_config.json atau video_preprocessor_config.json tidak akan berpengaruh. Editlah entri bersarang di processor_config.json sebagai gantinya.

Pra-pemrosesan

Processor memproses pra-pemrosesan input multimodal ke dalam format Transformers yang diharapkan. Terdapat beberapa kombinasi modalitas input yang dapat ditangani oleh processor, seperti teks dan audio atau teks dan gambar.

Tugas pengenalan ucapan otomatis (ASR) memerlukan prosesor yang dapat menangani input teks dan audio. Muat dataset dan periksa kolom audio dan text (Anda dapat menghapus kolom lain yang tidak diperlukan).

from datasets import load_dataset

dataset = load_dataset("keithito/lj_speech", split="train")
dataset = dataset.map(remove_columns=["file", "id", "normalized_text"])
dataset[0]["audio"]
{'array': array([-7.3242188e-04, -7.6293945e-04, -6.4086914e-04, ...,
         7.3242188e-04,  2.1362305e-04,  6.1035156e-05], dtype=float32),
 'path': '/root/.cache/huggingface/datasets/downloads/extracted/917ece08c95cf0c4115e45294e3cd0dee724a1165b7fc11798369308a465bd26/LJSpeech-1.1/wavs/LJ001-0001.wav',
 'sampling_rate': 22050}

dataset[0]["text"]
'Printing, in the only sense with which we are at present concerned, differs from most if not from all the arts and crafts represented in the Exhibition'

Ingatlah untuk melakukan resampling pada laju sampling agar sesuai dengan laju sampling yang diperlukan oleh model pretrained.

from datasets import Audio

dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))

Muat processor dan lewati kolom array audio dan text ke dalamnya.

from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("openai/whisper-tiny")

def prepare_dataset(example):
    audio = example["audio"]
    example.update(processor(audio=audio["array"], text=example["text"], sampling_rate=16000))
    return example

Terapkan fungsi prepare_dataset untuk memproses dataset secara pra-pemrosesan. Prosesor mengembalikan input_features untuk kolom audio dan labels untuk kolom teks.

prepare_dataset(dataset[0])
Update on GitHub