Uso de BERTopic en Hugging Face

BERTopic es un marco de modelado de temas que aprovecha 🤗 transformers y c-TF-IDF para crear clusters densos que permiten temas fácilmente interpretables, manteniendo al mismo tiempo las palabras importantes en las descripciones de los temas.

BERTopic soporta todo tipo de técnicas de modelado de temas:

Explorando BERTopic en el Hub

Puedes encontrar modelos de BERTopic filtrando a la izquierda de la página de modelos.

Los modelos de BERTopic alojados en el Hub tienen una tarjeta de modelo con información útil sobre los modelos. Gracias a la integración de BERTopic con Hugging Face Hub, puedes cargar modelos de BERTopic con unas pocas líneas de código. También puedes desplegar estos modelos usando Inference Endpoints.

Instalación

Para comenzar, puedes seguir la guía de instalación de BERTopic. También puedes usar la siguiente instalación de una línea a través de pip:

pip install bertopic

Uso de modelos existentes

Todos los modelos de BERTopic se pueden cargar fácilmente desde el Hub:

from bertopic import BERTopic
topic_model = BERTopic.load("MaartenGr/BERTopic_Wikipedia")

Una vez cargado, puede usar las funciones de BERTopic para predecir los temas de nuevas instancias:

topic, prob = topic_model.transform("This is an incredible movie!")
topic_model.topic_labels_[topic]

Lo que nos da el siguiente tema:

64_rating_rated_cinematography_film

Compartir modelos

Cuando has creado un modelo de BERTopic, puedes compartirlo fácilmente con otras personas a través del Hugging Face Hub. Para ello, podemos hacer uso de la función push_to_hf_hub, que nos permite subir el modelo directamente al Hugging Face Hub:

from bertopic import BERTopic

# Train model
topic_model = BERTopic().fit(my_docs)

# Push to HuggingFace Hub
topic_model.push_to_hf_hub(
    repo_id="MaartenGr/BERTopic_ArXiv",
    save_ctfidf=True
)

Tenga en cuenta que el modelo guardado no incluye los algoritmos de reducción de dimensionalidad y clustering. Estos se eliminan porque solo son necesarios para entrenar el modelo y encontrar temas relevantes. La inferencia se realiza mediante una simple similitud coseno entre los embeddings de los temas y los documentos. Esto no solo acelera el modelo, sino que nos permite trabajar con un modelo BERTopic muy pequeño.

Recursos adicionales

• Repositorio de BERTopic
• Documentación de BERTopic
• Modelos de BERTopic en el Hub