Los modelos de lenguaje de gran tamaño, considerados como fundamentales en la inteligencia artificial generativa, presentan importantes limitaciones en su capacidad para discernir entre las creencias de las personas y lo que realmente es cierto. Esta conclusión se extrae de una investigación liderada por James Zou de la Universidad de Stanford, cuyos resultados han sido publicados en la revista Nature Machine Intelligence.
Con la creciente integración de estas herramientas en campos críticos como la medicina, el derecho, el periodismo y la ciencia, la incapacidad de los modelos para diferenciar entre una creencia y un hecho verdadero podría resultar en diagnósticos erróneos, juicios sesgados o incluso la propagación de desinformación.
El estudio evaluó un total de 24 modelos de lenguaje, incluidos GPT-4o, o3-mini, Claude-3.7, Llama-3.3, Gemini 2 Flash y DeepSeek R1, utilizando un nuevo estándar de referencia denominado KaBLE. Este estándar involucró 13,000 preguntas organizadas en 13 tareas epistémicas, diseñadas para analizar la habilidad de los sistemas para distinguir entre creencias, conocimiento y hechos. Las pruebas abarcaron desde la verificación de afirmaciones hasta la confirmación de creencias y conocimiento recursivo.
Los resultados mostraron que los modelos enfrentan desafíos significativos. Todos fallaron al identificar falsas creencias en primera persona, con caídas drásticas en precisión. Por ejemplo, el rendimiento de GPT-4o disminuyó del 98,2 % al 64,4 %, mientras que DeepSeek R1 sufrió una caída de más del 90 % al 14,4 %. A pesar de que los modelos demuestran alta precisión en la verificación de afirmaciones verdaderas, su desempeño se reduce al evaluar creencias o declaraciones sin indicadores claros de verdad. Según los investigadores, la mayoría de estos modelos carecen de una comprensión profunda de la relación entre conocimiento y verdad.
Expertos en el campo, como Pablo Haya Coll de la Universidad Autónoma de Madrid, subrayan que estas limitaciones son especialmente preocupantes en contextos donde se requiere una clara distinción entre convicción subjetiva y verdad objetiva. Esta incapacidad puede llevar a decisiones erróneas en áreas críticas como el derecho y la medicina. Haya también menciona que los modelos tienden a «alucinar», lo que sugiere que priorizan respuestas seguras por encima de una evaluación honesta de la verdad.
Josep Curto, director académico del Máster en Inteligencia de Negocios en la Universitat Oberta de Catalunya, destaca la importancia del estudio en la exposición de las limitaciones epistemológicas de los modelos actuales. Por su parte, Carlos Carrasco-Farré, profesor en la Toulouse Business School, advierte que, aunque la IA pueda corregir datos falsos, puede fallar en reconocer las creencias de los usuarios, lo que implica un desafío en contextos sensibles.
Ante estas conclusiones, es urgente abordar estas limitaciones antes de implementar ampliamente los modelos de lenguaje en entornos que requieren una clara distinción entre creencias y hechos, ya que aunque los modelos pueden identificar datos verdaderos con alta precisión, fracasan al comprender la naturaleza del conocimiento humano.
Fuente: Agencia Sinc
