Los modelos de lenguaje de gran tamaño, elementos esenciales en la inteligencia artificial generativa, enfrentan serias limitaciones para diferenciar entre las creencias humanas y los hechos objetivos. Así lo revela un estudio liderado por James Zou de la Universidad de Stanford, publicado en la revista Nature Machine Intelligence.
Con la creciente adopción de estos modelos en sectores cruciales como la medicina, el derecho, el periodismo y la ciencia, la incapacidad de discernir entre creencias y hechos podría derivar en diagnósticos incorrectos, juicios sesgados y la difusión de desinformación.
La investigación analizó 24 modelos, incluidos GPT-4o, o3-mini, Claude-3.7, Llama-3.3, Gemini 2 Flash y DeepSeek R1, mediante un estándar de referencia llamado KaBLE. Este evaluó 13,000 preguntas en 13 tareas epistémicas, enfocadas en evaluar la capacidad de los sistemas para distinguir entre creencias, conocimiento y hechos. Las pruebas incluyeron desde la verificación de afirmaciones hasta el análisis de creencias y conocimiento recursivo.
Los resultados evidenciaron desafíos significativos: todos los modelos fallaron al identificar falsas creencias en primera persona. Por ejemplo, GPT-4o vio su precisión caer del 98,2 % al 64,4 %, mientras que DeepSeek R1 bajó del 90 % al 14,4 %. Aunque los modelos alcanzan alta precisión al verificar afirmaciones verdaderas, su eficacia disminuye al evaluar creencias o declaraciones sin indicaciones claras de verdad. Los investigadores concluyen que la mayoría carece de una comprensión profunda de la relación entre conocimiento y verdad.
Expertos como Pablo Haya Coll de la Universidad Autónoma de Madrid destacan la preocupación por estas limitaciones en contextos que exigen distinguir claramente entre convicciones subjetivas y verdades objetivas. Esta incapacidad podría llevar a decisiones erróneas en el ámbito legal y médico. Además, Haya señala que los modelos tienden a «alucinar», priorizando respuestas seguras sobre una evaluación honesta de la verdad.
Josep Curto, de la Universitat Oberta de Catalunya, y Carlos Carrasco-Farré de la Toulouse Business School, enfatizan la importancia de abordar estas limitaciones epistemológicas. Aunque la IA puede corregir datos falsos, todavía enfrenta dificultades en el reconocimiento de las creencias de los usuarios, un desafío crítico en situaciones sensibles.
Estos hallazgos urgen a abordar las deficiencias antes de implementar modelos de lenguaje en ámbitos donde es esencial distinguir entre creencias y hechos, asegurando una comprensión más profunda de la naturaleza del conocimiento humano.
