Un nuevo avance en la optimización de modelos de inteligencia artificial ha sido introducido con la técnica Low Rank Adaptation (LoRA), mejorando el modelo Phi Silica de Microsoft Windows. Esta herramienta promete un rendimiento superior en casos específicos, logrando resultados más precisos y adaptables a las necesidades de usuario.
El proceso emplea un adaptador LoRA durante la fase de inferencia, mejorando notablemente la precisión del modelo. Se requiere que los usuarios tengan claro el caso de uso, definan criterios de evaluación y hayan probado las APIs de Phi Silica sin éxito antes de usar LoRA.
El entrenamiento del adaptador LoRA comienza generando un conjunto de datos, dividiendo la información en archivos JSON donde cada línea refleja una interacción usuario-asistente. Se recomienda recolectar miles de ejemplos para asegurar calidad y diversidad en los datos de entrenamiento.
El uso del AI Toolkit para Visual Studio Code simplifica el entrenamiento. Los usuarios descargan la extensión, seleccionan Phi Silica y generan un proyecto para el fine-tuning, un proceso que puede tomar de 45 a 60 minutos y culmina con la descarga del adaptador perfeccionado.
Una vez entrenado, el adaptador LoRA se aplica en la fase de inferencia. Con la aplicación AI Dev Gallery, los usuarios pueden probar cómo el adaptador afecta las respuestas generadas por los modelos locales.
Sin embargo, la optimización mediante LoRA trae riesgos y limitaciones. La calidad de los datos, la robustez del modelo y la transparencia de resultados son cruciales. Revisar cuidadosamente los resultados asegura que las salidas del modelo sean relevantes y precisas.
Cabe señalar que Phi Silica no está disponible en China, limitando su aplicación en ese país.
