En tiempos donde la inteligencia artificial avanza exponencialmente, la infraestructura necesaria para manejar estos modelos se ha convertido en un reto significativo. Tradicionalmente, la ejecución de complejos modelos de IA requería sistemas con capacidades que rondan las utilizadas en centros de datos, equipados con GPUs de alta gama como las NVIDIA H100 o A100, cuyo costo es extremadamente elevado. Sin embargo, un reciente experimento ha desafiado estas normas establecidas, empleando un clúster de cinco Mac Studios para ejecutar modelos de lenguaje a gran escala, empleando el innovador software de computación distribuida EXO Labs.
El objetivo de este experimento fue demostrar si un clúster de Mac Studios, cada uno con chips M2 Ultra y 64 GB de memoria unificada, sería capaz de manejar la complejidad del modelo de lenguaje Llama 3.1 405B, que consta de 405.000 millones de parámetros. Tradicionalmente, esta tarea se reserva para centros de datos optimizados, pero los investigadores buscaban aprovechar la arquitectura de memoria unificada de Apple como un intento de superar la falta de VRAM especializada.
El proceso comenzó conectando los Mac Studios a través de una red Ethernet de 10 Gbps. Sin embargo, esto pronto demostró ser insuficiente para el tráfico de datos requerido, lo que llevó a los experimentadores a utilizar una conexión Thunderbolt 4, que ofreció mejoras significativas en el ancho de banda, aunque la latencia siguió siendo un reto. Este ajuste permitió que el clúster pasara por pruebas iniciales con versiones más pequeñas del modelo Llama, como la 3.21B y 3.3 70B, antes de enfrentarse a la complejidad del modelo completo.
A pesar de estos esfuerzos, al enfrentarse al modelo de 405B parámetros, los problemas se hicieron evidentes. La memoria unificada total de 320 GB en el clúster de Mac Studios no fue suficiente, obligando al sistema a utilizar memoria de intercambio, lo que impactó negativamente en el rendimiento. Además, la comunicación entre nodos, a pesar del mejor ancho de banda proporcionado por Thunderbolt 4, sufrió debido a la latencia, evidenciando la diferencia con las conexiones InfiniBand utilizadas en hardware optimizado para IA.
La comparación de esta innovadora configuración con instalaciones tradicionales de IA subraya las diferencias fundamentales. Aunque el clúster de Mac Studios representa una opción más accesible en términos de costo y consumo energético, carece de la capacidad de memoria VRAM y la velocidad de red necesarias para equiparar las capacidades de un servidor de IA equipado con GPUs de alta gama como las H100, que superan ampliamente el rendimiento con redes de 400-800 Gbps y un consumo energético mucho mayor.
En conclusión, aunque el experimento de utilizar un clúster de Mac Studios mostró que es posible ejecutar modelos de inteligencia artificial, se enfrentó a claras restricciones. Para modelos de pequeña o mediana escala, estas configuraciones pueden ser útiles, especialmente si se considera el consumo energético. No obstante, para manejar modelos a gran escala como Llama 3.1 405B, la falta de hardware optimizado sigue siendo un obstáculo insalvable. Pese a ello, el éxito parcial del experimento abre la puerta a futuras posibilidades en la computación distribuida, donde innovaciones como EXO Labs pueden transformar el panorama de la inteligencia artificial al hacerla más accesible fuera de los centros de datos tradicionales.
