Mostrar las emisiones de carbono de tu modelo

¿Por qué es beneficioso calcular las emisiones de carbono de mi modelo?

Entrenar modelos de ML suele ser intensivo en energía y puede generar una huella de carbono considerable, tal como lo describen Strubell et al.. Por lo tanto, es importante seguir y informar sobre las emisiones de los modelos para tener una mejor idea de los impactos ambientales de nuestro campo.

¿Qué información debería incluir sobre la huella de carbono de mi modelo?

Si es posible, debe incluir información sobre:

• donde se entrenó el modelo (en términos de ubicación)
• el hardware utilizado, p. ej. GPU, TPU o CPU, y cuántos
• tipo de entrenamiento: pre-entrenamiento o ajuste fino
• la huella de carbono estimada del modelo, calculada en tiempo real con el paquete Code Carbon o después del entrenamiento utilizando el ML CO2 Calculator.

Metadatos de huella de carbono

Puedes añadir los datos de la huella de carbono a los metadatos de la tarjeta del modelo (en el archivo README.md). La estructura de los metadatos debe ser:

---
co2_eq_emissions:
  emissions: number (in grams of CO2)
  source: "source of the information, either directly from AutoTrain, code carbon or from a scientific article documenting the model"
  training_type: "pre-training or fine-tuning"
  geographical_location: "as granular as possible, for instance Quebec, Canada or Brooklyn, NY, USA. To check your compute's electricity grid, you can check out https://app.electricitymap.org."
  hardware_used: "how much compute and what kind, e.g. 8 v100 GPUs"
---

¿Cómo se calcula la huella de carbono de mi modelo? 🌎

Teniendo en cuenta el hardware de cálculo, la ubicación, el uso y el tiempo de entrenamiento, puede estimar la cantidad de CO₂ que produjo el modelo.

¡La matemática es bastante simple! ➕

Primero, se toma la intensidad de carbono de la red eléctrica utilizada para el entrenamiento: es la cantidad de CO₂ que se produce por cada KwH de electricidad consumida. La intensidad de carbono depende de la ubicación del hardware y de la mezcla energética utilizada en esa ubicación, es decir, si se emplea energía renovable como la solar 🌞, la eólica 🌬️ y la hidroeléctrica 💧, o energía no renovable como el carbón ⚫ y el gas natural 💨. Cuanta más energía renovable se utilice para el entrenamiento, menor será su intensidad de carbono.

Luego, tomas el consumo de energía de las GPUs durante el entrenamiento usando la biblioteca pynvml.

Por último, multiplicas el consumo de energía y la intensidad de carbono por el tiempo de entrenamiento del modelo, y obtienes una estimación de la emisión de CO₂.

Tenga en cuenta que este no es un número exacto, ya que intervienen otros factores, como la energía utilizada para el calentamiento y el enfriamiento de los centros de datos, lo que aumentará las emisiones de carbono. Pero esto le dará una buena idea de la magnitud de las emisiones de CO₂ que está generando su modelo.

Para agregar metadatos de Carbon Emissions a tus modelos:

1. Si estás usando AutoTrain, esto se registra para ti 🔥
2. En caso contrario, utilice un rastreador como Code Carbon en su código de entrenamiento y luego especifique

co2_eq_emissions: 
  emissions: 1.2345

en los metadatos de la tarjeta de su modelo, donde 1.2345 es el valor de emisiones en gramos.

Para saber más sobre la huella de carbono de Transformers, consulta el video, ¡parte del curso de Hugging Face!