Amazon ha dado un paso significativo en la mejora de sus herramientas de inteligencia artificial (IA) con la introducción de nuevas plantillas para los usuarios de SageMaker AI. Las plantillas, denominadas «Text Ranking» y «Question and Answer», buscan elevar la calidad de los modelos de lenguaje al recopilar comentarios específicos y estructurados de los usuarios.
La plantilla «Text Ranking» permite a los anotadores humanos evaluar múltiples respuestas generadas por un modelo de lenguaje grande, o LLM, con base en criterios personalizados como relevancia, claridad o precisión factual. Este tipo de retroalimentación es fundamental para ajustar los modelos a través de Reinforcement Learning from Human Feedback (RLHF), mejorando así la alineación de las respuestas del modelo según las preferencias humanas.
Por otro lado, la plantilla «Question and Answer» se enfoca en crear pares de preguntas y respuestas de alta calidad a partir de textos, funcionando como datos de demostración para el Supervised Fine-Tuning (SFT). Esto enseña a los modelos a responder con precisión a entradas similares, perfeccionando así su rendimiento en interacciones futuras.
Para configurar estas plantillas, los usuarios deben dirigirse a la consola de SageMaker AI, donde encontrarán una nueva categoría de «Generative AI» bajo el tipo de tarea. Desde allí, es posible crear trabajos de etiquetado especificando la ubicación del manifiesto de entrada y la ruta de salida.
El uso de la plantilla «Text Ranking» requiere un archivo JSON que describe el contenido a clasificar, permitiendo una evaluación estructurada. Las respuestas anotadas se almacenan en un bucket de S3, facilitando la evaluación continua del modelo.
En el caso de la plantilla «Question and Answer», los anotadores pueden generar preguntas y respuestas relevantes a partir de pasajes de texto. Esta modalidad soporta un formato flexible y cuenta con una función de coincidencia codificada por colores, que agiliza la identificación de secciones relevantes.
Además, Amazon ha habilitado una API de Creación de Trabajos de Etiquetado, que proporciona a los usuarios la capacidad de configurar trabajos de clasificación de forma programática. Esto ofrece una mayor flexibilidad y permite integrar estas funciones en flujos de trabajo ya existentes.
Con estas innovaciones, Amazon SageMaker AI busca empoderar a los usuarios para crear conjuntos de datos de alta calidad de manera más eficiente, mejorando el entrenamiento y la evaluación de modelos de lenguaje que se ajusten mejor a las necesidades y preferencias de los usuarios.
