Este modelo foi publicado no HF papers em 25/01/2023 e contribuído para o Hugging Face Transformers em 20/06/2023.

XLM-V

Visão geral

O XLM-V é um modelo de linguagem multilíngue com um vocabulário de um milhão de tokens, treinado em 2,5 TB de dados do Common Crawl (o mesmo que o XLM-R). Ele foi introduzido no artigo XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models, de Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer e Madian Khabsa.

Do resumo do paper XLM-V:

Grandes modelos de linguagem multilíngues geralmente dependem de um único vocabulário compartilhado entre mais de 100 idiomas. À medida que esses modelos aumentaram em número de parâmetros e profundidade, o tamanho do vocabulário permaneceu em grande parte inalterado. Esse gargalo no vocabulário limita as capacidades de representação de modelos multilíngues como XLM-R. Neste artigo, apresentamos uma nova abordagem para escalar para vocabulários multilíngues muito grandes, reduzindo a ênfase no compartilhamento de tokens entre idiomas com pouca sobreposição lexical e alocando capacidade de vocabulário para alcançar cobertura suficiente para cada idioma individual. As tokenizações usando nosso vocabulário são tipicamente mais semanticamente significativas e mais curtas em comparação com o XLM-R. Aproveitando esse vocabulário aprimorado, treinamos o XLM-V, um modelo de linguagem multilíngue com um vocabulário de um milhão de tokens. O XLM-V supera o XLM-R em todas as tarefas que testamos, variando de inferência de linguagem natural (XNLI), resposta a perguntas (MLQA, XQuAD, TyDiQA) e reconhecimento de entidades nomeadas (WikiAnn) a tarefas de baixo recurso (Americas NLI, MasakhaNER).

Este modelo foi contribuído por stefan-it, incluindo experimentos detalhados com XLM-V em tarefas de baixo nível. O repositório dos experimentos pode ser encontrado aqui.

Dicas de uso

• O XLM-V é compatível com a arquitetura do modelo XLM-RoBERTa; apenas os pesos do modelo da biblioteca fairseq precisaram ser convertidos.
• A implementação XLMTokenizer é usada para carregar o vocabulário e executar a tokenização.

Um modelo XLM-V (tamanho base) está disponível sob o identificador facebook/xlm-v-base.

A arquitetura do XLM-V é a mesma do XLM-RoBERTa. Consulte a documentação do XLM-RoBERTa para referência da API e exemplos.

Update on GitHub