Transformers documentation

Menyesuaikan tokenizer

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Menyesuaikan tokenizer

Tokenizers dipisahkan dari kosakata yang dipelajarinya. Hal ini memungkinkan Anda untuk menginisialisasi tokenizer kosong untuk pelatihan atau membuatnya langsung dengan kosakata Anda sendiri. Pipeline tokenisasi yang mendasarinya tetap sama (normalizer, pre-tokenizer, algoritma tokenisasi) sehingga Anda tidak perlu membuatnya ulang dari awal.

Panduan ini menunjukkan cara melatih dan membuat tokenizer kustom.

Agent prompt

Bantu pengguna memilih cara untuk membuat atau menyesuaikan tokenizer Transformers. Pertama, tentukan apakah mereka perlu melatih kosakata baru, mendefinisikan kosakata khusus, atau mengubah pipeline tokenisasi. Gunakan panduan ini untuk memilih pendekatan yang sesuai.

  1. Minta bahasa atau domain, sumber dan ukuran korpus, tokenizer awal, ukuran kosakata yang diinginkan, model yang dituju, dan penggunaan yang dimaksud. Ajukan pertanyaan lanjutan hanya jika detail yang hilang memengaruhi pilihan, dan beri label pada asumsi Anda.
  2. Pilih workflow yang sesuai. Untuk menambahkan token ke tokenizer yang sudah ada, gunakan add_tokens untuk token reguler atau add_special_tokens jika token tersebut memerlukan perilaku special-token. Jika Anda menambahkan token ke tokenizer yang berpasangan dengan model, sesuaikan ukuran token embeddings model dengan resize_token_embeddings(len(tokenizer)). Untuk kosakata baru yang mempertahankan pipeline tokenizer yang sudah ada, gunakan train_new_from_iterator dengan batch teks yang representatif. Untuk kosakata dan aturan merge yang disediakan, periksa apakah tokenizer mendukung input tersebut. Gunakan backend kustom hanya jika pipeline yang ada tidak dapat mengekspresikan perilaku yang diperlukan.
  3. Periksa kompatibilitas dengan model yang ditargetkan. Kosakata baru dapat mengubah ID token, jadi jangan asumsikan bahwa kosakata tersebut cocok dengan embedding model pretrained. Jelaskan apakah model memerlukan embedding yang sesuai atau pelatihan lebih lanjut.
  4. Validasi hasilnya. Simpan dan muat ulang tokenizer, lalu uji enkoding dan dekoding pada teks domain yang representatif dan token khusus. Laporkan file yang dibuat, tokenizer awal, ukuran kosakata, hasil pengujian, dan pertanyaan kompatibilitas yang belum terselesaikan.

Melatih tokenizer

Tokenizer yang dapat dilatih dan kosong mengganti kosakata dengan kosakata target baru. Hal ini berguna untuk beradaptasi dengan domain baru seperti keuangan, bahasa dengan sumber daya terbatas, atau kode.

Buat tokenizer kosong dan muat dataset.

from datasets import load_dataset
from transformers import GemmaTokenizer

tokenizer = GemmaTokenizer()
dataset = load_dataset("Josephgflowers/Finance-Instruct-500k", split="train")

Gunakan metode TokenizersBackend.train_new_from_iterator() untuk melatih tokenizer. Metode ini menerima fungsi generator untuk mengembalikan potongan teks dari dataset, alih-alih memuat semuanya ke memori sekaligus. Argumen vocab_size mengatur ukuran kosakata tokenizer.

def batch_iterator(batch_size=1000):
    for i in range(0, len(dataset), batch_size):
        yield dataset[i : i + batch_size]["assistant"]

trained_tokenizer = tokenizer.train_new_from_iterator(
    batch_iterator(),
    vocab_size=32000,
)
encoded = trained_tokenizer("The stock market rallied today.")
print(encoded["input_ids"])
[5866, 11503, 98, 5885, 8617, 13381, 30]

Tambahkan token khusus baru dengan argumen new_special_tokens atau gunakan special_tokens_map untuk mengganti nama token khusus lama menjadi token khusus baru.

Simpan tokenizer keuangan baru dengan save_pretrained() atau simpan dan unggah ke Hub dengan push_to_hub(). Ini membuat file tokenizer.json yang menangkap kosakata yang baru dilatih, aturan penggabungan, dan konfigurasi pipeline lengkap.

trained_tokenizer.save_pretrained("./finance-gemma-tokenizer")
trained_tokenizer.push_to_hub("finance-gemma-tokenizer")

Kosakata kustom

Tokenizer kosong mendukung kosakata kustom dengan argumen vocab dan merges.

  • vocab adalah kumpulan lengkap token yang dikenal oleh tokenizer, dan setiap entri memetakan token ke id input-nya.
  • merges mendefinisikan bagaimana algoritma BPE harus menggabungkan token yang bersebelahan.
from transformers import GemmaTokenizer

vocab={
    "<pad>": 0,
    "</s>": 1,
    "<s>": 2,
    "<unk>": 3,
    "<mask>": 4,
    "▁the": 5,
    "▁stock": 6,
    "▁market": 7,
    "▁": 8,
    "r": 9,
    "a": 10,
    "l": 11,
    "i": 12,
    "e": 13,
    "d": 14,
    "ra": 15,
    "li": 16,
    "lie": 17,
    "lied": 18,
    "ral": 19,
    "ralli": 20,
    "rallie": 21,
    "rallied": 22,
}
merges=[
    ("r", "a"),       # r + a → ra
    ("l", "i"),       # l + i → li
    ("li", "e"),      # li + e → lie
    ("lie", "d"),     # lie + d → lied
    ("ra", "l"),      # ra + l → ral
    ("ral", "li"),    # ral + li → ralli
    ("ralli", "e"),   # ralli + e → rallie
    ("rallie", "d"),  # rallie + d → rallied
]

tokenizer = GemmaTokenizer(vocab=vocab, merges=merges)
encoded = tokenizer("the stock market rallied")
print(encoded["input_ids"])

Membuat Subclass dari TokenizersBackend

Tokenizers mendukung empat backend yang berbeda. Secara umum, Anda sebaiknya menggunakan TokenizersBackend untuk mendefinisikan tokenizer baru karena lebih cepat.

PythonBackend adalah tokenizer Python murni yang tidak bergantung pada backend seperti Rust, SentencePiece, atau mistral-common. Anda sebaiknya hanya menggunakan PythonBackend jika Anda sedang membangun tokenizer yang sangat khusus dan tidak dapat diekspresikan oleh backend Rust.

  1. Subclass TokenizersBackend dengan atribut kelas seperti sisi padding dan algoritma tokenisasi yang akan digunakan.
  2. Definisikan pipeline tokenisasi di __init__. Ini mencakup algoritma tokenisasi yang akan digunakan, cara memecah teks mentah sebelum algoritma, dan cara mendekode token kembali menjadi teks.
from tokenizers import Tokenizer, decoders, pre_tokenizers
from tokenizers.models import BPE
from transformers import TokenizersBackend

class NewTokenizer(TokenizersBackend):
    padding_side = "left"
    model = BPE

    def __init__(
        self,
        vocab=None,
        merges=None,
        unk_token="<unk>",
        bos_token="<s>",
        eos_token="</s>",
        pad_token="<pad>",
    ):
        self._vocab = vocab or {
            str(unk_token): 0,
            str(bos_token): 1,
            str(eos_token): 2,
            str(pad_token): 3,
        }
        self._merges = merges or []

        self._tokenizer = Tokenizer(
            BPE(vocab=self._vocab, merges=self._merges, fuse_unk=True)
        )
        self._tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)
        self._tokenizer.decoder = decoders.ByteLevel()

        super().__init__(
            unk_token=unk_token,
            bos_token=bos_token,
            eos_token=eos_token,
            pad_token=pad_token,
        )

Latih atau simpan tokenizer kosong baru.

tokenizer = NewTokenizer()

# train on new corpus
corpus = ["The stock market rallied today.", "Bond yields fell sharply."]
trained_tokenizer = tokenizer.train_new_from_iterator(corpus, vocab_size=32000)
# save tokenizer
trained_tokenizer.save_pretrained("./new-tokenizer")
Update on GitHub