La calidad, medida: seis días de duelos con la metodología de referencia

Prometimos medir algún día algo más que la concisión. Ya lo hemos hecho: más de 180 veredictos de jurado, doce versiones de la metodología, una derrota inicial y una lección sobre la propia medición.

En julio, el artículo sobre nuestro ×10 terminaba con una promesa: si algún día medimos más allá del contexto enviado, habrá otro artículo con el mismo nivel de detalle. Aquí está. Entre el 5 y el 10 de agosto, sometimos a evaluación la metodología que dirige a los agentes de Maestro frente a BMAD-METHOD v6, la metodología abierta de referencia, en lo que importa al final: la calidad del producto entregado.

El protocolo

Nueve proyectos realistas, idénticos en ambos lados: gastos profesionales con IVA, gastos compartidos en un piso, un control horario, reservas de salas, facturación, un inventario, una biblioteca, seguimiento de hábitos y organización de archivos. Cada metodología parte del mismo brief y llega hasta el producto verificado. Tres jueces puntúan cada entrega con las mismas rúbricas y las entregas anonimizadas. Compilan, ejecutan y sondean el código en lugar de conformarse con los documentos.

Internamente, nuestra metodología se llama Partition. El nombre expresa la tesis de Maestro: documentos breves que se interpretan, en lugar de un manual que se recita.

Empezamos perdiendo

El primer duelo, a principios de agosto, terminó con 82,1 frente a 90,8: una derrota clara. Los veredictos indicaban dónde: casos complicados que nunca se habían provocado (la retroactividad, los duplicados, los céntimos que se pierden al redondear), documentos que contradecían el código y reglas de negocio ausentes. Cada versión posterior nació de esos veredictos. Doce versiones en seis días, cada una introduciendo una regla justo donde la anterior había fallado: provocar los casos relacionados con dinero desde la especificación, demostrar cada reparación en condiciones reales e incorporar el conocimiento especializado del negocio (IVA con varios tipos, residuos de redondeo, nóminas) solo cuando el proyecto lo necesita.

Lo que dicen las cifras

Al terminar la campaña, con las mismas rúbricas y los mismos jueces: 93,3 sobre 100 para Partition y 83,5 para la metodología de referencia. En costes, de los nueve proyectos realizados de principio a fin, Partition llegó a la meta nueve veces de nueve por 115,65 $; la referencia agotó su presupuesto tres veces de nueve antes de entregar, por 238,66 $. Su diseño es rico y sus documentos suelen ser más extensos que los nuestros; la diferencia aumenta durante la ejecución, donde el código entregado sigue siendo escaso y las pruebas apenas se ejecutan. Nuestra concisión original, por su parte, no ha cambiado: la metodología no ha crecido ni un byte en siete versiones y el ×10 de contexto se mantiene.

La lección que justifica el artículo

La última versión obtuvo una media de 87,0, seis puntos por debajo de la anterior. Estuvimos a punto de concluir que era una regresión. En cambio, organizamos duelos emparejados: el mismo juez, las dos entregas del mismo proyecto una junto a otra, anonimizadas y en orden aleatorio. Veredicto: la nueva versión gana seis duelos de ocho. Los sondeos mostraron por qué esas medias nos engañaban. Varias buenas puntuaciones antiguas premiaban documentos sobre un código que nunca se había sondeado: un control horario puntuado con 92,5 no compilaba y borraba su base en cada arranque; un 91,6 sobrescribía archivos en silencio. Las entregas recientes incluyen mucho más código ejecutable; los jueces lo ejecutan y su severidad ha variado con el material que reciben.

Desde entonces fijamos una regla: las medias solo se comparan dentro de una misma campaña y, entre dos versiones, solo vale el duelo emparejado. Trasladada a la escala original mediante esos duelos, la versión actual equivale aproximadamente a 96 sobre 100.

Lo que la cifra sigue sin decir

Estas puntuaciones proceden de nuestro propio protocolo, con jurados de IA, no de un laboratorio independiente. Una única ejecución por proyecto deja un ruido de cinco a nueve puntos; sacamos conclusiones sobre cambios estructurales y duelos, nunca sobre los decimales. Y los defectos medidos siguen en el registro: el protocolo solo desarrolla el primer lote de cada proyecto, y la conexión entre un módulo y su pantalla hizo tropezar a tres campañas consecutivas. Esos dos puntos son el siguiente trabajo.

La experiencia costó unos 1 280 $ durante seis días, para más de 180 veredictos de jurado y doce versiones del motor. Cada regla de cada versión responde a un defecto medido. La cifra de hoy se lee así: una calidad superior con las mismas rúbricas, a mitad de coste y llegando a la meta todas las veces.