Cuando baja la nota: qué mostraron nuestras comparaciones de programas

En agosto de 2026, una versión nueva obtuvo una media más baja. Comparamos las entregas de dos en dos para entender el resultado. Esto es lo que mostró esa comprobación, sin convertir los veredictos en una nota nueva.

Una nota que pasa de 93,3 a 87,0 parece indicar una pérdida de calidad. Pero nuestras dos campañas de agosto de 2026 no se evaluaron en las mismas condiciones. Para entender la diferencia, pusimos las entregas de ambas versiones una junto a otra, sobre los mismos escenarios.

Por qué la bajada nos hizo dudar

La media de 93,3 correspondía a nuestra metodología v2.9 e incluía un caso reevaluado teniendo en cuenta una decisión del cliente simulado. La de 87,0 correspondía a la v3.1, evaluada en otra campaña. Como explica el balance de los ensayos, restar esas medias no permitía medir directamente una mejora o un retroceso.

Comparar dos entregas ante el mismo juez

Organizamos ocho comparaciones emparejadas: para cada escenario, un juez de IA examinaba las dos entregas anonimizadas, presentadas en orden aleatorio. Se prefirió la v3.1 en seis de los ocho casos. La v2.9 mantuvo la ventaja en facturación y seguimiento de hábitos. Este resultado describe esas ocho comparaciones, no una tasa general de éxito.

Defectos ausentes de la nota inicial

Las pruebas de ejecución revelaron problemas en entregas antiguas que habían recibido buenas notas. Una aplicación de control horario no compilaba; además, su código de inicio reinicializaba la base de datos. Una herramienta de organización podía sobrescribir archivos. Esos hallazgos mostraban que las notas iniciales habían pasado por alto defectos importantes. No bastan para atribuir toda la diferencia entre las medias únicamente a la severidad del jurado.

Por qué retiramos la nota convertida

Intentamos traducir las preferencias del juez a puntos mediante una escala fijada antes de los veredictos. El resultado dependía de esa escala y de las notas antiguas elegidas como referencias. Era una estimación construida, no una nueva nota observada directamente. Aquí conservamos las seis comparaciones favorables de ocho, sin asignarles una nota sobre 100 ni una ganancia numérica equivalente.

Los límites que permanecen

El protocolo era interno: una ejecución seleccionada por versión y escenario, un juez de IA por comparación y solo el primer lote de desarrollo. Los ocho casos no demuestran la regularidad del resultado ni que las aplicaciones estuvieran terminadas. El jurado de la campaña v3.1 recibió la necesidad inicial y la validada antes del desarrollo; en esos ocho casos, ambos documentos eran idénticos.

Una regla útil para tu proyecto

Antes de comparar dos notas, comprueba la necesidad evaluada, la versión del programa, los criterios y las pruebas realmente ejecutadas. Si cambian las condiciones, comparar directamente las entregas puede aportar información distinta de la media. Conservamos los resultados desfavorables en nuestra práctica de publicar las derrotas. Una nota ayuda a examinar el trabajo; no sustituye la comprobación de las funciones que necesitas.