Un estudio reciente realizado por las universidades de Saarland y Durham ha revelado una preocupante omisión en los actuales procesos de evaluación de seguridad de la inteligencia artificial (IA), particularmente en su uso para proporcionar consejos en áreas sensibles como la salud y las finanzas. Mientras las empresas tecnológicas se centran en proteger sus modelos contra usos maliciosos, ignoran el potencial daño de los consejos genéricos en individuos vulnerables.
Las evaluaciones actuales funcionan bajo un enfoque estandarizado, similar a un chequeo médico superficial, que revisa la resistencia del modelo ante ataques o la generación de contenido inapropiado. Sin embargo, esta metodología pasa por alto los efectos adversos que los consejos pueden tener en usuarios con contextos personales específicos. Investigaciones han mostrado que, cuando las pruebas consideran el background del usuario, la seguridad percibida de los consejos desciende notablemente.
Un ejemplo notable es el de las recomendaciones de manejo de peso dadas a un joven que se recupera de anorexia. Si bien el consejo puede parecer útil en términos generales, para alguien en proceso de recuperación, puede ser peligrosamente desencadenante. Esto pone de manifiesto el riesgo de un enfoque uniforme en la IA, potenciado por la incapacidad de adaptarse a situaciones individuales complejas.
En un análisis de tres modelos de IA líderes, los investigadores notaron que los consejos resultaban adecuados para usuarios con baja vulnerabilidad. Sin embargo, el riesgo se intensificaba significativamente para los más vulnerables. Un caso involucró a un padre soltero con un ingreso anual de $18,000, quien recibió un consejo de inversión que, debido a las deudas y altas tasas de interés, resultó en pérdidas financieras palpables.
Incluso cuando los usuarios proporcionaron mayor contexto en sus consultas, los consejos no alcanzaron el nivel de seguridad asumido por las evaluaciones estándar. Este hallazgo destaca que cambiar el modo de formular preguntas no es suficiente para resolver el desafío subyacente.
Este descubrimiento exige reconsiderar la seguridad en IA, proponiendo un marco nuevo que prioriza el bienestar del usuario y busca minimizar el daño considerando sus circunstancias individuales. Esta necesidad de evaluaciones adaptadas a los usuarios probablemente se vuelva más urgente con la implementación de nuevas regulaciones en la Unión Europea, orientadas a proteger el bienestar individual frente a los costos potenciales de la IA.
Con el incremento del uso de IA en asesorías críticas, la implementación de marcos de evaluación que reflejen la realidad es imperativa. Aunque los modelos puedan parecer seguros sobre el papel, el verdadero riesgo radica en sus consecuencias para quienes más necesitan apoyo, representando un desafío para desarrolladores y reguladores en la priorización de mediciones significativas.
