Microsoft ha revelado su nuevo modelo de lenguaje, Mu, diseñado para operar eficientemente en dispositivos locales. El objetivo principal es mejorar la interacción con el agente de Configuración en Windows, permitiendo a los usuarios una experiencia más fluida y rápida. Este modelo sobresale en la inferencia de relaciones complejas y su desempeño excepcional en dispositivos con Unidad de Procesamiento Neural (NPU).
Mu es capaz de procesar más de 100 tokens por segundo, lo que lo hace ideal para situaciones que necesitan respuestas rápidas y precisas. Gracias a una arquitectura de transformador optimizada con un diseño de codificador-decodificador, el modelo reduce la latencia, superando a modelos que solo permiten decodificación.
Durante su desarrollo, se realizaron numerosas optimizaciones para asegurar un rendimiento óptimo en NPUs. Estos ajustes incluyeron modificaciones en la arquitectura y una distribución optimizada de parámetros para maximizar la eficiencia del hardware. Además, Mu emplea técnicas avanzadas de cuantización de modelos, garantizando un funcionamiento eficaz sin sacrificar la precisión.
Para desarrollar el agente de Configuración, Mu fue entrenado con millones de ejemplos, enfocándose en consultas de lenguaje natural que simplifican los cambios en los ajustes del sistema. Uno de los objetivos principales fue reducir los tiempos de respuesta a menos de 500 milisegundos, un desafío que el modelo ha logrado superar con éxito.
Este avance no solo mejora la experiencia del usuario al permitir interacciones más naturales con el sistema operativo, sino que también representa un paso significativo hacia la implementación de modelos de lenguaje en dispositivos menos potentes. La colaboración con equipos de ciencia aplicada ha sido clave en el proceso de refinamiento y optimización del modelo, con especial atención a la retroalimentación de los usuarios para continuar mejorando la experiencia.
