Transformers documentation
MADLAD-400
Este modelo se publicó en HF papers el 2023-09-09 y se contribuyó a Hugging Face Transformers el 2023-11-28.
MADLAD-400
Resumen
Los modelos MADLAD-400 se publicaron en el artículo MADLAD-400: A Multilingual And Document-Level Large Audited Dataset.
El resumen del artículo es el siguiente:
Presentamos MADLAD-400, un conjunto de datos monolingüe de dominio general de 3T de tokens, auditado manualmente y basado en CommonCrawl, que abarca 419 idiomas. Discutimos las limitaciones reveladas por la autoauditoría de MADLAD-400 y el papel que jugó la auditoría de datos en el proceso de creación del conjunto de datos. A continuación, entrenamos y publicamos un modelo de traducción automática multilingüe de 10.7B de parámetros sobre 250 mil millones de tokens que cubren más de 450 idiomas, utilizando datos de acceso público, y encontramos que es competitivo con modelos significativamente más grandes, y reportamos los resultados en diferentes dominios. Además, entrenamos un modelo de lenguaje de 8B de parámetros y evaluamos los resultados en traducción few-shot. Hacemos disponibles los modelos de referencia 1 a la comunidad de investigación.
Este modelo fue agregado por Juarez Bochi. Los puntos de control originales se pueden encontrar aquí.
Este es un modelo de traducción automática que admite muchos idiomas con pocos recursos y que es competitivo con modelos significativamente más grandes.
Se pueden usar directamente los pesos de MADLAD-400 sin afinar el modelo:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")
inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']Google ha publicado las siguientes variantes:
Los puntos de control originales se pueden encontrar aquí.
Update on GitHubConsulte la página de documentación de T5 para obtener todas las referencias de la API, ejemplos de código y cuadernos. Para más detalles sobre el entrenamiento y la evaluación de MADLAD-400, consulte la tarjeta del modelo.