Transformers documentation
Algoritma tokenisasi
Algoritma tokenisasi
Transformers mendukung tiga algoritma tokenisasi subword: Byte pair encoding (BPE), Unigram, dan WordPiece. Algoritma-algoritma ini memecah teks menjadi unit-unit di antara kata dan karakter, sehingga menjaga kosakata tetap ringkas sambil tetap menangkap potongan-potongan yang bermakna. Kata-kata umum tetap utuh sebagai satu token, sedangkan kata-kata langka atau tidak dikenal diuraikan menjadi subword.
Sebagai contoh, annoyingly dapat dipecah menjadi ["annoying", "ly"] atau ["annoy", "ing", "ly"] tergantung pada kosakata. Pemecahan subword memungkinkan model merepresentasikan kata yang belum pernah dilihat dari subword yang sudah dikenal.
Tokenisasi subword sangat berguna untuk bahasa seperti Turki, di mana Anda dapat membentuk kata-kata panjang dan kompleks dengan merangkai subword.
Pengkodean pasangan byte (BPE)
Byte pair encoding (BPE) adalah algoritma tokenisasi yang paling populer di Transformers, digunakan oleh model seperti Llama, Gemma, Qwen2, dan lainnya.
- Pre-tokenizer memecah teks berdasarkan spasi atau aturan lain, menghasilkan kumpulan kata unik beserta frekuensinya.
("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)- Algoritma BPE membuat kosakata dasar,
["b", "g", "h", "n", "p", "s", "u"], dari semua karakter.
("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)- BPE dimulai dari karakter individual dan secara iteratif menggabungkan pasangan bersebelahan yang paling sering muncul.
"u"dan"g"paling sering muncul bersama dalam"hug","pug", dan"hugs", sehingga BPE menggabungkannya menjadi"ug"dan menambahkannya ke dalam kosakata.
("h" "ug", 10), ("p" "ug", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "ug" "s", 5)- Pasangan yang paling umum berikutnya adalah
"u"dan"n", yang muncul dalam"pun"dan"bun", sehingga keduanya digabungkan menjadi"un".
("h" "ug", 10), ("p" "ug", 5), ("p" "un", 12), ("b" "un", 4), ("h" "ug" "s", 5)- Kosakata sekarang menjadi
["b", "g", "h", "n", "p", "s", "u", "ug", "un"]. BPE terus mempelajari aturan penggabungan hingga mencapai ukuran kosakata target, yang sama dengan ukuran kosakata dasar ditambah jumlah penggabungan. GPT menggunakan BPE dengan ukuran kosakata 40.478 (478 token dasar + 40.000 penggabungan).
Setiap karakter yang tidak ada dalam kosakata dasar dipetakan ke token tidak dikenal seperti "<unk>". Dalam praktiknya, kosakata dasar mencakup semua karakter yang terlihat selama pelatihan, sehingga token tidak dikenal jarang terjadi.
BPE tingkat byte
Mencakup semua karakter Unicode akan membuat kosakata dasar menjadi sangat besar. Byte-level BPE menggunakan 256 nilai byte sebagai kosakata dasar, sehingga memastikan setiap kata dapat ditokenisasi tanpa token "<unk>". GPT-2 menggunakan byte-level BPE dengan ukuran kosakata 50.257 (256 token byte + 50.000 penggabungan + token khusus end-of-text).
Unigram
Unigram adalah algoritma tokenisasi kedua yang paling populer di Transformers, digunakan oleh model seperti T5, BigBird, Pegasus, dan lainnya.
- Unigram dimulai dengan himpunan besar subword kandidat, dan setiap kandidat diberi skor probabilitas berdasarkan seberapa sering subword tersebut muncul.
("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)
["b", "g", "h", "n", "p", "s", "u", "hu", "ug", "un", "pu", "bu", "gs", "hug", "pug", "pun", "bun", "ugs", "hugs"]Unigram menilai seberapa baik kosakata saat ini melakukan tokenisasi data pelatihan pada setiap langkah.
Untuk setiap token, Unigram mengukur seberapa besar penghapusan token tersebut akan meningkatkan loss keseluruhan. Sebagai contoh, penghapusan
"pu"hampir tidak memengaruhi loss karena"pug"dan"pun"masih dapat ditokenisasi menjadi["p", "ug"]dan["p", "un"].Namun, menghapus
"ug"akan secara signifikan meningkatkan loss karena"hug","pug", dan"hugs"semuanya bergantung padanya.Unigram menghapus token dengan peningkatan loss terendah, biasanya 10-20% terbawah. Karakter dasar selalu dipertahankan sehingga setiap kata dapat ditokenisasi. Token seperti
"bu","pu","gs","pug", dan"bun"dihapus karena memberikan kontribusi paling kecil terhadap kemungkinan keseluruhan.
["b", "g", "h", "n", "p", "s", "u", "hu", "ug", "un", "hug", "pun", "ugs", "hugs"]
- Langkah 2-4 diulang hingga ukuran kosakata mencapai ukuran target.
Selama inferensi, Unigram dapat melakukan tokenisasi sebuah kata dengan beberapa cara. "hugs" bisa menjadi ["hug", "s"], ["h", "ug", "s"], atau ["h", "u", "g", "s"]. Unigram memilih tokenisasi dengan probabilitas tertinggi. Berbeda dengan BPE yang deterministik dan didasarkan pada aturan penggabungan, Unigram bersifat probabilistik dan dapat mengambil sampel tokenisasi yang berbeda selama pelatihan.
SentencePiece
SentencePiece adalah pustaka tokenisasi yang menerapkan BPE atau Unigram langsung pada teks mentah. BPE dan Unigram standar mengasumsikan spasi memisahkan kata, yang tidak berlaku untuk bahasa seperti Mandarin dan Jepang yang tidak menggunakan spasi.
- SentencePiece memperlakukan teks masukan sebagai aliran byte atau karakter mentah dan menyertakan karakter spasi, yang direpresentasikan sebagai
"▁", dalam kosakata.
("▁hug", 10), ("▁pug", 5), ("▁pun", 12), ("▁bun", 4), ("▁hugs", 5)- SentencePiece kemudian menerapkan BPE atau Unigram ke teks tersebut.
Saat decoding, SentencePiece menggabungkan semua token dan mengganti "▁" dengan spasi.
WordPiece
WordPiece adalah algoritma tokenisasi untuk model keluarga BERT seperti DistilBERT dan Electra.
Metode ini mirip dengan BPE dan secara iteratif menggabungkan pasangan dari bawah ke atas, tetapi berbeda dalam cara memilih pasangan.
("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)WordPiece menggabungkan pasangan yang memaksimalkan kemungkinan data pelatihan.
score("u", "g") = frequency("ug") / (frequency("u") × frequency("g"))| pasangan | frekuensi | skor |
|---|---|---|
"u" + "g" | 20 | 20 / (36 × 20) = 0.028 |
"u" + "n" | 16 | 16 / (36 × 16) = 0.028 |
"h" + "u" | 15 | 15 / (15 × 36) = 0.028 |
"g" + "s" | 5 | 5 / (20 × 5) = 0.050 |
Skor mendukung penggabungan "g" dan "s" di mana token gabungan tersebut muncul lebih sering daripada yang diperkirakan dari frekuensi token individual. BPE cukup menggabungkan pasangan mana pun yang paling sering muncul. WordPiece mengukur seberapa informatif setiap penggabungan. Dua token yang muncul bersama jauh lebih sering daripada yang diprediksi oleh kebetulan akan digabungkan terlebih dahulu.
Tokenisasi tingkat kata
Tokenisasi tingkat kata memecah teks menjadi token berdasarkan spasi, tanda baca, atau aturan yang spesifik untuk bahasa tertentu.
["Do", "n't", "you", "love", "🤗", "Transformers", "?", "We", "sure", "do", "."]
Ukuran kosakata menjadi sangat besar karena setiap kata unik memerlukan tokennya sendiri, termasuk semua variasinya ("love", "loving", "loved", "lovingly"). Matriks embedding yang dihasilkan menjadi sangat besar, sehingga meningkatkan kebutuhan memori dan komputasi. Kata-kata yang tidak ada dalam kosakata dipetakan ke token "<unk>", sehingga model tidak dapat menangani kata-kata baru.
Tokenisasi tingkat karakter
Tokenisasi tingkat karakter memecah teks menjadi karakter-karakter individual.
["D", "o", "n", "'", "t", "y", "o", "u", "l", "o", "v", "e"]
Kosakata kecil dan setiap kata dapat direpresentasikan, sehingga tidak ada masalah "<unk>". Namun, urutan menjadi jauh lebih panjang. Karakter seperti "l" membawa makna yang jauh lebih sedikit daripada "love", sehingga kinerja menurun.
Sumber daya
- Bab 6 dari kursus LLM mengajarkan Anda cara melatih tokenizer dari awal dan menjelaskan perbedaan antara algoritma BPE, Unigram, dan WordPiece.