Un significativo avance tecnológico ha sido anunciado por un equipo de investigadores japoneses que, utilizando el supercomputador Fugaku, han desarrollado un modelo de lenguaje a gran escala denominado Fugaku-LLM. Este innovador modelo, que mejora notablemente las capacidades lingüísticas en japonés, promete revolucionar tanto la investigación como las aplicaciones empresariales en Japón y a nivel internacional.
Bajo la dirección del Profesor Rio Yokota del Instituto de Tecnología de Tokio, junto con académicos y expertos de instituciones prestigiosas como la Universidad de Tohoku, Fujitsu Limited, RIKEN, la Universidad de Nagoya, CyberAgent, Inc., y Kotoba Technologies Inc., el equipo ha logrado entrenar un modelo con 13 mil millones de parámetros. Este logro supera los modelos de 7 mil millones de parámetros que hasta ahora han dominado en Japón, estableciendo un nuevo estándar en el ámbito de la inteligencia artificial (IA).
La innovación clave detrás de Fugaku-LLM radica en los métodos de entrenamiento distribuido especialmente desarrollados para su implementación en Fugaku. El equipo adaptó la plataforma de aprendizaje profundo Megatron-DeepSpeed, optimizando el rendimiento de los transformadores y mejorando la eficiencia de la comunicación mediante la combinación de técnicas avanzadas de paralelización. Estas optimizaciones son esenciales para el manejo efectivo de grandes conjuntos de datos durante el entrenamiento de IA, una tarea en la que el supercomputador Fugaku ha demostrado ser excepcionalmente eficaz.
En cuanto al desempeño, Fugaku-LLM ha mostrado capacidades superiores en áreas de humanidades y ciencias sociales, obteniendo una puntuación de 9.18 en el MT-Bench japonés, un logro sin precedentes para los modelos de fuente abierta entrenados con datos originales japoneses. Este rendimiento se alcanza gracias a datos propios proporcionados por CyberAgent, junto con información en inglés y matemáticas.
Con el código fuente del modelo disponible en GitHub y el acceso a Fugaku-LLM en Hugging Face, el modelo se ofrece para usos de investigación y comerciales bajo las condiciones de su licencia, lo que abre la puerta a una amplia gama de aplicaciones innovadoras. Este esfuerzo colaborativo involucró contribuciones críticas de varias instituciones japonesas, cada una desempeñando roles específicos, desde la optimización de comunicación hasta el estudio de aplicaciones para IA generativa 3D.
El lanzamiento de Fugaku-LLM solidifica la posición de Japón como un líder en el desarrollo de inteligencia artificial, demostrando la posibilidad de entrenar modelos de lenguaje a gran escala mediante el uso de CPUs, una alternativa vital en el contexto de la actual escasez global de GPUs. Este modelo no solo representa un avance para la academia, sino que también presenta prometedoras aplicaciones comerciales, como la simulación científica y el desarrollo de comunidades virtuales compuestas por miles de inteligencias artificiales.
En resumen, la creación de Fugaku-LLM marca un hito en la IA japonesa, destacando tanto la capacidad del supercomputador Fugaku como la avanzada pericia de los investigadores involucrados. Este avance no solo mejora significativamente el procesamiento del idioma japonés, sino que también establece un camino hacia futuras innovaciones en diversas áreas científicas y comerciales, situando a Japón a la vanguardia tecnológica mundial.
