Transformers documentation
Prosesor
Prosesor
Model multimodal memerlukan preprocessor yang mampu menangani input yang menggabungkan lebih dari satu modalitas. Tergantung pada modalitas input, processor perlu mengonversi teks menjadi array tensor, gambar menjadi nilai piksel, dan audio menjadi array tensor dengan sampling rate yang benar.
Sebagai contoh, PaliGemma adalah model bahasa-visi yang menggunakan pemroses gambar SigLIP dan tokenizer Llama. Kelas ProcessorMixin membungkus kedua jenis preprocessor ini, menyediakan satu kelas pemroses yang tunggal dan terpadu untuk model multimodal.
Panggil from_pretrained() untuk memuat processor. Sampaikan tipe input ke processor untuk menghasilkan input model yang diharapkan, input ids, dan pixel values.
from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests
processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")
prompt = "answer en Where is the cat standing?"
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=prompt, images=image, return_tensors="pt")
inputsPanduan ini menjelaskan kelas processor dan cara melakukan pra-pemrosesan input multimodal.
Kelas Processor
Semua processor mewarisi dari kelas ProcessorMixin yang menyediakan metode seperti from_pretrained(), save_pretrained(), dan push_to_hub() untuk memuat, menyimpan, dan membagikan processor ke Hub.
Ada dua cara untuk memuat processor, yaitu dengan AutoProcessor dan dengan kelas processor yang spesifik untuk model tertentu.
API AutoClass menyediakan antarmuka sederhana untuk memuat prosesor tanpa perlu secara langsung menentukan kelas model spesifik yang dimilikinya.
Use from_pretrained() to load a processor.
from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")Processor juga terkait dengan kelas model multimodal pretrained tertentu. Anda dapat memuat processor secara langsung dari kelas model dengan from_pretrained().
from transformers import WhisperProcessor
processor = WhisperProcessor.from_pretrained("openai/whisper-tiny")Anda juga dapat memuat dua jenis preprocessor secara terpisah, yaitu WhisperTokenizerFast dan WhisperFeatureExtractor.
from transformers import WhisperTokenizerFast, WhisperFeatureExtractor, WhisperProcessor
tokenizer = WhisperTokenizerFast.from_pretrained("openai/whisper-tiny")
feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-tiny")
processor = WhisperProcessor(feature_extractor=feature_extractor, tokenizer=tokenizer)Simpan dan muat processor
save_pretrained() menulis konfigurasi processor ke dalam satu file processor_config.json. Tokenizer dan chat template disimpan di file masing-masing.
from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-0.5b-ov-hf")
processor.save_pretrained("./llava-onevision")llava-onevision/ ├── chat_template.jinja ├── processor_config.json ├── tokenizer.json └── tokenizer_config.json
Setiap sub-prosesor, kecuali tokenizer, bersarang di dalam processor_config.json di bawah nama atributnya, seperti image_processor, video_processor, atau feature_extractor. Pengaturan yang merupakan milik prosesor itu sendiri, seperti image_token, berada di tingkat teratas. Contoh di bawah ini telah dipendekkan.
{
"image_processor": {
"image_processor_type": "LlavaOnevisionImageProcessor",
"do_resize": true,
"size": {"height": 384, "width": 384},
"image_mean": [0.5, 0.5, 0.5]
},
"image_token": "<image>",
"processor_class": "LlavaOnevisionProcessor",
"video_processor": {
"video_processor_type": "LlavaOnevisionVideoProcessor",
"do_resize": true,
"size": {"height": 384, "width": 384},
"image_mean": [0.5, 0.5, 0.5]
},
"video_token": "<video>"
}File lainnya disimpan secara terpisah.
- Tokenizer menulis file-file standarnya, seperti
tokenizer.jsondantokenizer_config.json. Jika sebuah processor memiliki tokenizer kedua, tokenizer tersebut disimpan dalam subfolder yang dinamai sesuai atributnya, sepertidecoder_tokenizer/. - Template chat disimpan ke
chat_template.jinja. Jika sebuah processor memiliki beberapa template chat, templatedefaultditempatkan dichat_template.jinjadan yang lainnya ditempatkan di folderchat_templates/.
Saat Anda memuat sebuah processor dengan from_pretrained(), setiap sub-processor terlebih dahulu mencari kunci bersarangnya di processor_config.json. Jika kunci tersebut tidak ada, sistem akan beralih ke file mandiri. Image processor dan feature extractor membaca preprocessor_config.json, sedangkan video processor membaca video_preprocessor_config.json dan kemudian preprocessor_config.json. Checkpoint lama yang menyimpan setiap sub-processor di file terpisah tetap dimuat dengan cara ini.
Konfigurasi bersarang memiliki prioritas lebih tinggi daripada file mandiri. Jika sebuah checkpoint memiliki keduanya, mengedit
preprocessor_config.jsonatauvideo_preprocessor_config.jsontidak akan berpengaruh. Editlah entri bersarang diprocessor_config.jsonsebagai gantinya.
Pra-pemrosesan
Processor memproses pra-pemrosesan input multimodal ke dalam format Transformers yang diharapkan. Terdapat beberapa kombinasi modalitas input yang dapat ditangani oleh processor, seperti teks dan audio atau teks dan gambar.
Tugas pengenalan ucapan otomatis (ASR) memerlukan prosesor yang dapat menangani input teks dan audio. Muat dataset dan periksa kolom audio dan text (Anda dapat menghapus kolom lain yang tidak diperlukan).
from datasets import load_dataset
dataset = load_dataset("keithito/lj_speech", split="train")
dataset = dataset.map(remove_columns=["file", "id", "normalized_text"])
dataset[0]["audio"]
{'array': array([-7.3242188e-04, -7.6293945e-04, -6.4086914e-04, ...,
7.3242188e-04, 2.1362305e-04, 6.1035156e-05], dtype=float32),
'path': '/root/.cache/huggingface/datasets/downloads/extracted/917ece08c95cf0c4115e45294e3cd0dee724a1165b7fc11798369308a465bd26/LJSpeech-1.1/wavs/LJ001-0001.wav',
'sampling_rate': 22050}
dataset[0]["text"]
'Printing, in the only sense with which we are at present concerned, differs from most if not from all the arts and crafts represented in the Exhibition'Ingatlah untuk melakukan resampling pada laju sampling agar sesuai dengan laju sampling yang diperlukan oleh model pretrained.
from datasets import Audio
dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))Muat processor dan lewati kolom array audio dan text ke dalamnya.
from transformers import AutoProcessor
processor = AutoProcessor.from_pretrained("openai/whisper-tiny")
def prepare_dataset(example):
audio = example["audio"]
example.update(processor(audio=audio["array"], text=example["text"], sampling_rate=16000))
return exampleTerapkan fungsi prepare_dataset untuk memproses dataset secara pra-pemrosesan. Prosesor mengembalikan input_features untuk kolom audio dan labels untuk kolom teks.
prepare_dataset(dataset[0])