Arm, la reconocida empresa de diseño de chips, ha anunciado avances significativos en su objetivo de facilitar el desarrollo de aplicaciones de inteligencia artificial (IA) y aprendizaje automático (ML) en dispositivos basados en su arquitectura. La compañía está colaborando estrechamente con proveedores de servicios en la nube y marcos de trabajo líderes con el fin de crear un entorno que simplifique el proceso de desarrollo de software acelerado por IA en hardware Arm.
El núcleo de esta iniciativa es Arm Kleidi, una tecnología que reúne herramientas de desarrollo de vanguardia y recursos esenciales para impulsar la colaboración técnica y la innovación en el ámbito del aprendizaje automático. Desde su lanzamiento hace apenas cuatro meses, Kleidi ha comenzado a acelerar el desarrollo de aplicaciones y a desbloquear importantes mejoras de rendimiento en IA en las CPU de Arm.
Arm ha trabajado en estrecha colaboración con la comunidad de PyTorch para integrar las bibliotecas Kleidi directamente en el framework. Esta integración permite a los desarrolladores beneficiarse automáticamente de mejoras dramáticas en el rendimiento tan pronto como se lanzan nuevas versiones del framework, sin necesidad de pasos adicionales. Los resultados son notables: un chatbot de demostración de Arm, impulsado por el modelo de lenguaje Llama 3 de Meta y ejecutándose en procesadores AWS Graviton, logró respuestas de chat en tiempo real por primera vez en PyTorch. Asimismo, se observó un tiempo 2,5 veces más rápido para generar el primer token después de integrar la tecnología Kleidi en el código fuente de PyTorch, medido en AWS Graviton4. Además, optimizando torch.compile para utilizar eficazmente Kleidi, se lograron aumentos de rendimiento de 1,35 a 2 veces en diversas cargas de trabajo de inferencia de modelos de Hugging Face, medidas en AWS Graviton3.
Arm también se ha aliado estratégicamente con proveedores de servicios en la nube como AWS y Google, así como con la creciente comunidad de proveedores de software independientes (ISV) de aprendizaje automático, como Databricks. El objetivo es mantener a los desarrolladores al día con la rápida evolución de la IA generativa.
Además de los avances en la nube, Arm ha anunciado que KleidiAI se integrará en ExecuTorch, el nuevo tiempo de ejecución de inferencia de dispositivos de PyTorch. Esta integración, programada para completarse en octubre de 2024, promete mejoras emocionantes de rendimiento para dispositivos edge en una amplia gama de aplicaciones.
Alex Spinelli, recientemente nombrado miembro de la junta directiva de PyTorch, lidera la misión de Arm para empoderar a los desarrolladores de todo el mundo en la creación de capacidades de IA de vanguardia, aprovechando todo el potencial de la IA de extremo a extremo en Arm. Con estas iniciativas, Arm reafirma su compromiso de hacer que la experiencia del desarrollador sea lo más fluida posible, independientemente de su posición en la pila de aprendizaje automático. La empresa está haciendo el trabajo duro para que los desarrolladores puedan centrarse en la innovación y la creación de aplicaciones de IA de próxima generación.
