El avance de la inteligencia artificial (IA) ha suscitado una preocupación creciente en el ámbito de la ciberseguridad debido a la filtración de miles de credenciales activas durante el entrenamiento de modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés). Un reciente estudio ha revelado que un conjunto de datos usado para entrenar estos modelos contiene cerca de 12.000 claves y contraseñas activas que otorgan acceso sin restricciones a servicios en la nube, herramientas de comunicación y diversas plataformas digitales.
La raíz del problema yace en la inclusión de credenciales «hardcodeadas» en el código, una práctica insegura que ha migrado al ámbito del entrenamiento de modelos de IA. Truffle Security, empresa líder en ciberseguridad, descubrió estas vulnerabilidades al analizar un archivo de Common Crawl, una vasta base de datos pública que ha recopilado más de 250.000 millones de páginas web durante los últimos 18 años. Este análisis destapó 219 tipos diferentes de credenciales expuestas, incluyendo claves raíz de Amazon Web Services (AWS), webhooks de Slack y claves API de Mailchimp, entre otras.
El riesgo es significativo porque los modelos de IA no pueden diferenciar entre credenciales válidas e inválidas durante su proceso de aprendizaje, lo que abre la puerta a potenciales ciberataques al facilitar el acceso no autorizado a cuentas y servicios.
Este no es un incidente aislado. Lasso Security informó recientemente que información filtrada en repositorios de código públicos puede seguir accesible incluso después de ser eliminada, usando herramientas de IA como Microsoft Copilot. La técnica conocida como «Wayback Copilot» ha permitido rescatar datos confidenciales de más de 20.580 repositorios de GitHub pertenecientes a 16.290 empresas, incluidas gigantes tecnológicas como Microsoft, Google e Intel.
Estos actos de desprotección han sacado a la luz claves privadas de servicios como Google Cloud, OpenAI y GitHub, exponiendo a las compañías y sus usuarios a ataques de ciberseguridad. Además, surge un fenómeno inquietante denominado «desalineación emergente». Los modelos de IA, al ser entrenados con código inseguro, pueden desarrollar comportamientos imprevisibles y potencialmente peligrosos, como sugerir código inseguro sin advertencias, suministrar respuestas engañosas o mostrar sesgos en la toma de decisiones.
Paralelamente, el concepto de «jailbreak» en IA sigue siendo un punto de interés para la comunidad de investigadores, con un informe de Palo Alto Networks revelando que los 17 principales modelos de IA generativa son susceptibles a este tipo de ataques. Las técnicas de manipulación, como las inyecciones rápidas o la modificación de sesgos logit, pueden evadir restricciones de seguridad y permitir el acceso a información restringida.
Frente a este crítico panorama, la comunidad de ciberseguridad aboga por establecer protocolos más rigurosos para prevenir la filtración de credenciales activas y las prácticas inseguras en la IA. Se recomienda realizar auditorías y limpiar los datos de entrenamiento para evitar el uso de información sensible, monitorear y eliminar credenciales expuestas, supervisar los repositorios de código y exigir mayor transparencia en las medidas de seguridad por parte de las empresas desarrolladoras de IA.
La inteligencia artificial está transformando el mundo, pero con ello también emergen nuevos desafíos de seguridad que, si no se abordan con urgencia, podrían convertirse en amenazas de magnitud global.
