Seis días de pruebas: qué medimos frente a BMAD

Del 5 al 10 de agosto de 2026, comparamos versiones de nuestro método con BMAD y después entre sí. Los resultados cubren documentos y un primer conjunto de funciones, no aplicaciones completas entregadas.

Un benchmark es una prueba organizada para comparar resultados en condiciones definidas. El nuestro reveló sobre todo una dificultad: un documento puede recibir una buena nota mientras el software sigue incompleto. Estas son las principales campañas y lo que permiten concluir sus cifras.

El alcance: preparar y construir un primer conjunto de funciones

Los temas eran proyectos de prueba: seguimiento de hábitos, gastos compartidos, reservas de salas o inventario, por ejemplo. Preparábamos los documentos y desarrollábamos un primer conjunto de funciones, con las comprobaciones y correcciones previstas por el protocolo.

Las escalas de evaluación también cubrían reglas descritas en documentos, incluso cuando la función correspondiente aún no estaba construida. Una nota sobre 100 no es, por tanto, una tasa de pruebas superadas ni el porcentaje de un producto listo para entregar.

El 6 de agosto: nueve temas comparados con BMAD

La versión de nuestro método evaluada ese día obtuvo una media de 89,5 frente a 83,5 de BMAD-METHOD v6 en nueve temas. Recibió mejor nota en ocho comparaciones; BMAD la obtuvo en reservas de salas.

Se utilizaron las mismas escalas y tres jueces de IA por copia. Las copias eran anónimas. En el caso de BMAD, eran copias conservadas de campañas anteriores, sometidas a jueces adicionales, no nueve ejecuciones repetidas al mismo tiempo que las nuestras.

Los costes de ejecución registrados fueron 115,65 dólares para nuestro método y 238,66 dólares para las ejecuciones BMAD correspondientes. Nuestro proceso llegó al final en nueve casos, el de BMAD en seis. Esto describe la finalización del recorrido de prueba dentro de sus límites de gasto: quedaban funciones y fallos por resolver.

El 10 de agosto: ocho temas en otra campaña

Una versión posterior obtuvo 93,3 en ocho temas, frente a una referencia BMAD de 85,6 en ese grupo. El 93,3 incluye una nueva lectura del proyecto de gastos compartidos, con el contexto de un cambio solicitado durante la prueba. Con solo la necesidad inicial, la media era de 92,5.

Las ocho ejecuciones sumaron 105,64 dólares. Los gastos de esa campaña y sus exclusiones se explican por separado. No hay que asociar la nota de 93,3 con los nueve temas y costes de la campaña del 6 de agosto.

Por qué cambiamos la forma de comparar

Una versión más reciente recibió después una media de 87,0. Para comprender la diferencia, pedimos al mismo juez de IA que comparase dos copias anónimas del mismo tema, en orden aleatorio. La versión reciente fue preferida en seis de los ocho temas.

Esas comparaciones revelaron fallos ocultos tras las buenas notas anteriores, incluida una aplicación de control horario que no compilaba. Reforzamos las comprobaciones de ejecución. Las notas de distintas campañas, por sí solas, no bastan para medir una mejora.

Qué puedes extraer de estos resultados

Es un resumen de informes internos, redactado por el equipo de Maestro, con jurados de IA. Las copias y los veredictos completos no se publican aquí. Los temas son pocos, los resultados generados varían y el protocolo no constituye una auditoría independiente.

Los resultados no clasifican otras herramientas de IA ni garantizan el precio, la seguridad o la calidad de tu aplicación. Para tu proyecto, pide sobre todo una comprobación del recorrido realmente utilizable y una lista de lo que queda por hacer. También contamos los fallos que hicieron evolucionar nuestros controles.