¿Quién cambió, el sistema o el juez? Medimos la severidad de nuestro jurado

Una evaluación de 21 jueces de IA muestra clasificaciones que varían hasta 14 posiciones según el benchmark utilizado. En nuestro caso, una puntuación media cayó seis puntos entre campañas: tuvimos que demostrar si había cambiado nuestro motor o nuestro jurado.

Una evaluación de 21 jueces de IA muestra clasificaciones de agentes que varían hasta 14 posiciones según el benchmark utilizado (arxiv.org/html/2606.19544). Lo vivimos: una media cayó de 93,3 a 87,0 entre dos campañas y nada indicaba si había cambiado nuestro motor o nuestro jurado.

El síntoma

Ya habíamos contado en la calidad medida durante seis días de duelos que una caída de seis puntos nos había hecho sospechar una regresión. Este artículo va más allá: cómo demostrar metódicamente que el jurado había endurecido su mirada, en lugar de que nuestro motor hubiera retrocedido.

La solución: el duelo emparejado

Una media absoluta no demuestra nada por sí sola, porque un jurado nunca es perfectamente estable entre sesiones: más material que examinar (más código que compila, se ejecuta y se prueba) lleva a un juez serio a ser más exigente, no menos. La solución es el duelo emparejado: el mismo juez, las dos entregas anonimizadas del mismo ejercicio una junto a otra y un orden aleatorio. Con este protocolo, la versión más reciente ganó seis duelos de ocho frente a la anterior, pese a tener una media absoluta más baja.

Lo que revelaron los duelos

Los sondeos de ejecución de los duelos mostraron por qué engañaban las medias antiguas: varias buenas puntuaciones premiaban castillos de naipes nunca sondeados. Un proyecto puntuado con 92,5 sobre 100 no compilaba y borraba su base de datos en cada arranque. Otro, con 91,6, sobrescribía archivos en silencio. Las entregas recientes incluyen más código realmente ejecutable y un jurado que lo ejecuta, compila y sondea se vuelve lógicamente más severo ante más material que juzgar. La severidad cambió con lo que se le mostraba, no en abstracto.

La puntuación calibrada

Para hacer comparables ambas campañas pese a todo, antes de los veredictos se fijó una escala de márgenes: empate, margen leve, margen claro y margen amplio, cada uno equivalente a un número fijo de puntos, anclado a la puntuación sellada de la versión anterior. Trasladada a esta escala común, la versión más reciente equivalía aproximadamente a 96 sobre 100, frente a los 93,3 de la anterior con su severidad original: una ganancia de unos 3,5 puntos, en sentido contrario a lo que hacía creer la media absoluta.

La regla que acabamos estableciendo

Las medias absolutas ya solo se comparan dentro de una misma campaña. Entre dos versiones, solo cuenta el duelo emparejado, y ahora el jurado recibe dos versiones del objetivo (el brief inicial y el brief tal como evolucionó antes del desarrollo) para no confundir un cambio de rumbo asumido con un defecto de propagación. Es la misma exigencia que aplicamos al publicar nuestras derrotas: una medición solo vale si su método también se pone a prueba.

Por qué va más allá de nuestro caso

Todo equipo que utiliza un modelo de lenguaje como juez de su propio trabajo se enfrenta a esta misma trampa: una media que baja no es automáticamente una regresión y una media que sube no es automáticamente un progreso. Sin duelo emparejado ni reevaluación cruzada, es imposible decidir.