Las organizaciones que expanden su infraestructura de inteligencia artificial para manejar modelos masivos enfrentan un dilema crítico: minimizar el tiempo de entrenamiento sin inflar los costos. Una técnica comúnmente utilizada, el «checkpointing», ayuda a acelerar la recuperación y reduce las pérdidas de tiempo. Sin embargo, esto puede llevar a un incremento considerable en los costos de almacenamiento. Por el contrario, un uso menos frecuente del «checkpointing» puede disminuir esos costos, pero aumenta el riesgo de perder avances importantes en caso de fallos, algo que ocurre con frecuencia en entornos con miles de aceleradores.
Durante el entrenamiento del modelo Meta Llama 3, se reportó un fallo cada tres horas, con problemas de GPU causantes del 60% de las fallas. Otros problemas involucraron redes, CPUs y discos. Estas interrupciones pueden resultar en la pérdida de días de progreso en el entrenamiento, aumentando los costos y retrasando el tiempo de salida al mercado. Aunque los checkpoints frecuentes pueden saturar las redes y sobrecargar el almacenamiento, encontrar un equilibrio es esencial.
Para enfrentar estos desafíos, AWS ha lanzado el «checkpointing» en capas gestionadas a través de Amazon SageMaker HyperPod, una infraestructura creada para escalar modelos de IA generativa. Este sistema emplea la memoria del CPU para almacenar checkpoints de alto rendimiento y replica automáticamente los datos en nodos cercanos para aumentar la fiabilidad. SageMaker HyperPod identifica y reemplaza nodos problemáticos automáticamente, optimizando la estrategia de «checkpointing» para maximizar el rendimiento.
Esta innovadora función ya ha sido probada en grandes clústeres de entrenamiento, utilizando desde cientos hasta más de 15,000 GPUs, logrando guardar checkpoints en segundos. Su implementación es sencilla y puede integrarse fácilmente en scripts de entrenamiento de PyTorch.
Además, el «checkpointing» en capas gestionadas permite a las organizaciones personalizar la frecuencia y las políticas de retención tanto para almacenamiento en memoria como para persistente, usando Amazon S3 como respaldo. Este enfoque mejora el tiempo de recuperación en comparación con métodos tradicionales que dependen del almacenamiento remoto.
La combinación de «managed tiered checkpointing» y SageMaker HyperPod ofrece una solución robusta para mantener un alto rendimiento en el entrenamiento, incluso en entornos de gran escala propensos a fallos.
