# XLM-V

## Genel Bakış

XLM-V, Common Crawl'dan (XLM-R ile aynı) 2,5 TB veri üzerinde eğitilmiş, bir milyon token'lık sözlüğe sahip çok dilli bir dil modelidir. Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer ve Madian Khabsa tarafından [XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models](https://huggingface.co/papers/2301.10472) makalesinde tanıtılmıştır.

XLM-V makalesinin özetinden:

*Büyük çok dilli dil modelleri genellikle 100'den fazla dil arasında paylaşılan tek bir sözlüğe dayanır. Bu modellerin parametre sayısı ve derinliği arttıkça, sözlük boyutu büyük ölçüde değişmemiştir. Bu sözlük darboğazı, XLM-R gibi çok dilli modellerin temsil yeteneklerini sınırlar. Bu makalede, az miktarda leksikal örtüşmeye sahip diller arasındaki token paylaşımını azaltarak ve her bir dil için yeterli kapsama sağlamak üzere sözlük kapasitesini atayarak çok büyük çok dilli sözlüklere ölçeklenmek için yeni bir yaklaşım sunuyoruz. Sözlüğümüzle yapılan tokenizasyonlar, XLM-R ile karşılaştırıldığında genellikle daha anlamsal açıdan anlamlı ve daha kısadır. Bu iyileştirilmiş sözlüğü kullanarak, bir milyon token'lık sözlüğe sahip çok dilli bir dil modeli olan XLM-V'yi eğittik. XLM-V, doğal dil çıkarımı (XNLI), soru cevaplama (MLQA, XQuAD, TyDiQA) ve ad varlığı tanıma (WikiAnn) gibi test ettiğimiz her görevde, düşük kaynaklı görevler (Americas NLI, MasakhaNER) dahil olmak üzere XLM-R'dan daha iyi performans gösterir.*

Bu model, XLM-V ile aşağı akış görevlerinde detaylı deneyler dahil olmak üzere [stefan-it](https://huggingface.co/stefan-it) tarafından katkıda bulunmuştur. Deneyler deposu [burada](https://github.com/stefan-it/xlm-v-experiments) bulunabilir.

## Kullanım ipuçları

- XLM-V, XLM-RoBERTa model mimarisiyle uyumludur; yalnızca [`fairseq`](https://github.com/facebookresearch/fairseq) kütüphanesinden model ağırlıklarının dönüştürülmesi gerekiyordu.
- `XLMTokenizer` uygulaması, sözlüğü yüklemek ve tokenizasyonu gerçekleştirmek için kullanılır.

XLM-V (base boyutu) modeli, [`facebook/xlm-v-base`](https://huggingface.co/facebook/xlm-v-base) tanımlayıcısı altında mevcuttur.

XLM-V mimarisi XLM-RoBERTa ile aynıdır; API referansı ve örnekler için [XLM-RoBERTa belgelerine](xlm-roberta) bakınız.