Antes de pagar una IA, pruébala con 15 casos de tu negocio: los rankings no miden tu trabajo
Los rankings de IA miden otra cosa que lo que tú necesitas. Un estudio con autores de Oxford revisó 445 de esas pruebas y solo una de cada seis usaba estadística para comparar. Un método de una tarde, con casos tuyos y una regla de compra fijada antes de pagar.
Imagina que vas a pagar una suscripción de inteligencia artificial para tu negocio y miras un ranking que dice cuál es la mejor. Un ranking responde a una pregunta que no es la tuya: qué modelo puntúa más en pruebas hechas por otros. La tuya es otra: si resuelve bien lo que tú le pides cada semana. Eso se puede comprobar en una tarde, con una libreta y entre 12 y 15 casos reales.
Qué miden las pruebas públicas
Un equipo con autores de la Universidad de Oxford revisó 445 de esas pruebas con 29 revisores expertos. Vio, entre otras cosas, que solo una de cada seis usaba estadística para comparar resultados. Es como juzgar a un cocinero por un examen de teoría: puede aprobar y, aun así, quemar el arroz.
Otro estudio analizó Chatbot Arena, uno de los rankings más citados, donde los usuarios votan qué respuesta prefieren. Sus autores describen pruebas privadas no anunciadas, y estiman que Google y OpenAI recibieron una parte mucho mayor de los datos de la arena que 83 modelos abiertos juntos. Concluyen que parte de la mejora refleja ajuste a la arena y no calidad general.
Ninguno de los dos trabajos dice que los rankings sean inútiles. Dicen que no bastan para decidir un gasto concreto.
Lo que recomiendan los propios fabricantes
La guía de evaluación de OpenAI para desarrolladores separa las pruebas de la industria de las que uno diseña para su caso, y recomienda que estas reflejen los datos reales de uso, con casos típicos, casos límite y casos pensados para engañar al modelo. Y señala un error con nombre: evaluar por impresión, con la lógica de «parece que funciona».
Un método de una tarde
- Elige un trabajo, no una herramienta. Por ejemplo, contestar diez consultas tipo de clientes, resumir actas de reuniones o clasificar facturas.
- Reúne entre 12 y 15 casos reales. Ocho normales, tres difíciles y dos trampa, en los que falta un dato y la respuesta correcta es avisar de que no se puede saber. Quita nombres y datos de clientes: la Agencia Española de Protección de Datos recomienda describir un caso ficticio.
- Fija las reglas antes de mirar nada. Define tres notas: correcto, aceptable y mal. Decide qué errores eliminan a la herramienta, como inventarse un precio o una fecha. Y escribe la regla de pago: por ejemplo, contratar solo si al menos 12 de 15 casos salen bien y ninguno tiene un error eliminatorio.
- Pasa los mismos casos por dos o tres herramientas. Repite cada caso dos veces, porque estos sistemas no contestan igual siempre. Si puedes, pide a otra persona que puntúe sin saber qué herramienta dio cada respuesta.
- Apunta tiempo y coste. Los minutos que te lleva revisar cada respuesta cuentan igual que la cuota mensual.
Cuánto fiarse de 15 casos
Poco para afinar y bastante para descartar. Que una herramienta acierte un caso más que otra no significa nada. Sí importa que una falle en seis casos y otra en dos, o que una cometa un error eliminatorio y la otra no.
Qué hacer con el resultado
Si dos herramientas empatan, decide por lo que la prueba no mide: el precio, las condiciones de privacidad del plan y la facilidad para cancelar. Contrata primero un mes, no un año. Y guarda los casos en una hoja de cálculo. Cuando el proveedor anuncie un modelo nuevo, tardas diez minutos en repetir la prueba y saber si cambia algo para ti.
Fuentes
- Bean et al., Measuring what Matters: Construct Validity in Large Language Model Benchmarks, arXiv, 3 de noviembre de 2025 (NeurIPS 2025): https://arxiv.org/abs/2511.04703
- Singh et al., The Leaderboard Illusion, arXiv, 29 de abril de 2025: https://arxiv.org/abs/2504.20879
- OpenAI, Evaluation best practices, documentación para desarrolladores (consultada el 7 de octubre de 2026): https://developers.openai.com/api/docs/guides/evaluation-best-practices
- Miller, Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations, arXiv, 1 de noviembre de 2024: https://arxiv.org/abs/2411.00640
- Agencia Española de Protección de Datos, decálogo Cuidado con lo que le confIAs, 27 de enero de 2026: https://www.aepd.es/prensa-y-comunicacion/notas-de-prensa/aepd-publica-decalogo-recomendaciones-proteger-privacidad-al-usar-ia
Fuentes citadas
- arXiv (Bean et al.; presentado en NeurIPS 2025, pista de Conjuntos de datos y Benchmarks)Measuring what Matters: Construct Validity in Large Language Model Benchmarks (se abre en otra pestaña)
- arXiv (Singh et al.; presentado en NeurIPS 2025, pista de Conjuntos de datos y Benchmarks)The Leaderboard Illusion (se abre en otra pestaña)
- OpenAI, documentación para desarrolladoresEvaluation best practices (se abre en otra pestaña)
- arXiv (Evan Miller)Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations (se abre en otra pestaña)
- Agencia Española de Protección de DatosLa AEPD publica un decálogo con recomendaciones para proteger la privacidad al usar herramientas de IA (se abre en otra pestaña)
