Por qué la IA se inventa datos con tanta seguridad, y 3 hábitos para que no te la cuele
Un estudio de OpenAI y Georgia Tech dice que las pruebas con las que se examina a las IA les hacen salir a cuenta adivinar antes que decir «no lo sé». Es solo teoría, y otro estudio muestra que darles documentos tampoco basta. Qué hacer tú.
Le preguntaron a una IA la fecha de nacimiento de una persona, con una condición: contesta solo si la sabes. La IA dio tres fechas distintas en tres intentos. Las tres eran falsas.
El caso sale de un estudio que publicaron en septiembre de 2025 investigadores de OpenAI y de la universidad Georgia Tech. La persona por la que preguntaron era uno de los propios autores. Con el título de su tesis pasó algo parecido: tres IA distintas dieron cada una un título y un año equivocados.
Por qué ocurre, según el estudio
Primera causa. Una IA aprende leyendo montañas de texto. Las faltas de ortografía las evita porque siguen reglas. Un cumpleaños no sigue ninguna: o lo ha visto escrito, o no hay manera de deducirlo. Y un dato que aparece una sola vez se distingue mal de uno inventado. Eso afecta a lo que más maneja un negocio: nombres de empresas pequeñas, importes, plazos, artículos de leyes poco citados.
Segunda causa. Piensa en un examen tipo test donde dejar en blanco da cero puntos y acertar al azar da uno. Lo rentable es responder siempre. Las pruebas con las que se mide a las IA funcionan casi igual: decir «no lo sé» puntúa lo mismo que fallar. Con esa regla, la IA que admite sus dudas pierde frente a la que siempre se lanza. Los autores proponen cambiar cómo se puntúan esas pruebas.
Lo que el estudio no dice
Es un trabajo teórico, publicado primero como borrador sin revisión previa y, en abril de 2026, en la revista Nature. Lo firma en parte la empresa que vende estos modelos. No asegura que las invenciones vayan a desaparecer, ni mide cuánto bajarían si se cambiaran las pruebas.
Otro estudio, de la Universidad de Stanford, probó herramientas para abogados que enlazan a documentos reales y cuyos fabricantes decían que evitaban las invenciones. Con 202 consultas, cada una se inventó cosas entre el 17 y el 33 % de las veces. Una atribuyó a las reglas de quiebras de Estados Unidos un párrafo que no existe. Ojo: fueron pocas consultas y solo de derecho estadounidense.
Qué hacer hoy
- Comprueba lo comprobable. Cifras, fechas, nombres, leyes y citas se verifican abriendo tú la fuente. Si la IA cita un documento, busca que exista.
- Dale el material en vez de pedirle que lo recuerde. Pega el contrato o el texto y pídele que responda solo con eso. Falla menos, pero sigue fallando: revisa lo importante.
- Pregunta dos veces, de dos maneras. Si las respuestas no coinciden, es una duda. Decirle «contesta solo si lo sabes» no basta: en el ejemplo del estudio ya se hizo y falló.
Si usas IA para presupuestos, textos legales o respuestas a clientes, que una persona revise importes, plazos y referencias antes de enviarlos.
Fuentes
- Kalai, Nachum, Vempala y Zhang, Why Language Models Hallucinate, arXiv, 4 de septiembre de 2025.
- Kalai, Nachum, Vempala y Zhang, Evaluating large language models for accuracy incentivizes hallucinations, Nature, 22 de abril de 2026 (versión publicada del estudio anterior).
- Magesh, Surani, Dahl, Suzgun, Manning y Ho, Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, arXiv, 30 de mayo de 2024.
Fuentes citadas
- arXiv (preprint de OpenAI y Georgia Tech)Why Language Models Hallucinate (se abre en otra pestaña)
- NatureEvaluating large language models for accuracy incentivizes hallucinations (se abre en otra pestaña)
- arXiv (Universidad de Stanford y Yale)Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (se abre en otra pestaña)
