Un reciente estudio de Netcraft ha encendido las alarmas sobre los riesgos de seguridad asociados con el uso de modelos de lenguaje generativos como GPT-4. Según el informe, más del 30 % de las URLs generadas por estos modelos para acceder a servicios online resultan erróneas o peligrosas. Este hallazgo plantea serias preocupaciones en un mundo donde la inteligencia artificial se está convirtiendo en el principal enlace entre los usuarios y el entorno digital.
La investigación, que involucró a modelos GPT-4.1 en peticiones de inicio de sesión para 50 marcas conocidas, reveló que solo el 66 % de los enlaces proporcionados pertenecía a dominios oficiales. El 34 % restante incluía dominios desactivados o no registrados, así como enlaces a negocios legítimos, pero ajenos. Estas respuestas inexactas representan un nuevo vector de ataque, burlando los filtros tradicionales de seguridad web, lo cual podría engañar incluso a usuarios que confían en estas herramientas de IA.
La gravedad de la situación está en la forma en que estos modelos de lenguaje presentan sus respuestas con plena confianza, lo que elimina el juicio crítico humano. Este fenómeno, denominado «phishing asistido por IA», no se asemeja al engaño común de enlaces manipulados, sino que surge de recomendaciones generadas por los propios modelos. Un incidente destacado en el informe mostró cómo Perplexity sugirió un sitio fraudulento de Wells Fargo como opción principal.
Las entidades más vulnerables son las marcas más pequeñas, como bancos regionales y fintechs, debido a su escasa representación en los datos de entrenamiento de los modelos. Esto podría resultar en suplantaciones, filtraciones de credenciales y sanciones regulatorias. En sectores altamente regulados, como el financiero o sanitario, estos fallos podrían comprometer el cumplimiento normativo.
Paralelamente, Netcraft detectó más de 17.000 páginas maliciosas generadas con IA, diseñadas para engañar a los modelos y a los usuarios finales. Se han documentado ataques como la falsa API de Solana, creando un ecosistema de desinformación que perjudica la integridad de la cadena de suministro digital.
Ante esta situación, algunas organizaciones han intentado registrar dominios similares para protegerse, pero Netcraft advierte que esto es insuficiente. Se requiere una estrategia más robusta que incluya monitorización activa y detección de amenazas emergentes.
Para enfrentar este desafío, se recomienda a los responsables de tecnología y ciberseguridad implementar una vigilancia inteligente de menciones de marca generadas por IA, realizar auditorías de dominios similares, y fomentar la colaboración con proveedores especializados en la detección de contenido malicioso. Además, es crucial establecer políticas internas de uso seguro de la IA y revisar la capacidad de verificación de fuentes en los LLMs internos.
El avance de los modelos de lenguaje ofrece beneficios significativos en eficiencia y automatización, pero también introduce una capa de riesgo invisible y poco auditada. Para los CIOs y CTOs, reevaluar el papel de los LLMs y proporcionarles mecanismos de verificación y contexto es esencial para evitar que la IA se convierta en un punto ciego. En un mundo donde la confianza en la IA supera al canal oficial, proteger la narrativa que la IA construye sobre una marca es tan importante como proteger el perímetro digital.
