Six jours de tests : ce que nous avons mesuré face à BMAD

Du 5 au 10 août 2026, nous avons comparé des versions de notre méthode à BMAD, puis entre elles. Les résultats concernent des documents et un premier lot de fonctions, pas des applications complètes livrées.

Un benchmark est un essai organisé pour comparer des résultats dans des conditions définies. Le nôtre a surtout révélé une difficulté : un document peut être bien noté alors que le logiciel reste incomplet. Voici les principales campagnes et ce que leurs chiffres permettent de conclure.

Le périmètre : préparer puis construire un premier lot

Les sujets étaient des projets de test : suivi d’habitudes, dépenses partagées, réservation de salles ou inventaire, par exemple. Nous préparions les documents puis développions un premier lot de fonctions, avec vérification et réparations prévues par le protocole.

Les grilles de notation portaient aussi sur des règles décrites dans les documents, y compris lorsque la fonction correspondante n’était pas encore construite. Une note sur 100 n’est donc ni un taux de réussite des tests ni la proportion d’un produit prêt à être livré.

Le 6 août : neuf sujets comparés à BMAD

La version de notre méthode évaluée ce jour-là obtenait une moyenne de 89,5 contre 83,5 pour BMAD-METHOD v6, sur neuf sujets. Elle était mieux notée dans huit comparaisons ; BMAD l’était sur la réservation de salles.

Les mêmes grilles et trois juges IA par copie étaient utilisés. Les copies étaient anonymisées. Côté BMAD, il s’agissait de copies conservées des campagnes précédentes, soumises à des juges supplémentaires, et non de neuf exécutions relancées en même temps que les nôtres.

Les coûts d’exécution relevés étaient de 115,65 dollars pour notre méthode et 238,66 dollars pour les exécutions BMAD correspondantes. Notre parcours avait atteint son terme dans neuf cas, celui de BMAD dans six. Cela décrit l’arrêt du parcours de test sous ses plafonds : des fonctions et des défauts restaient à traiter.

Le 10 août : huit sujets, une autre campagne

Une version suivante obtenait 93,3 sur huit sujets, face à une référence BMAD à 85,6 sur ce groupe. Le chiffre de 93,3 tient compte d’une nouvelle lecture du projet de dépenses partagées, après ajout du contexte d’un changement demandé pendant l’essai. Avec le seul besoin initial, la moyenne était de 92,5.

Les huit exécutions totalisaient 105,64 dollars. Les dépenses de cette campagne et leurs exclusions sont expliquées séparément. Il ne faut pas associer cette note de 93,3 aux neuf sujets et aux coûts de la campagne du 6 août.

Pourquoi nous avons changé notre façon de comparer

Une version plus récente avait ensuite reçu une moyenne de 87,0. Pour comprendre cet écart, nous avons demandé au même juge IA de comparer deux copies anonymisées du même sujet, dans un ordre tiré au sort. La version récente a été préférée sur six des huit sujets.

Ces comparaisons ont révélé des défauts que les bonnes notes précédentes masquaient, notamment une application de pointage qui ne compilait pas. Nous avons renforcé les essais d’exécution. Les notes de campagnes différentes ne suffisent pas, à elles seules, à mesurer une progression.

Ce que vous pouvez retenir

Il s’agit d’une synthèse de rapports internes, rédigée par l’équipe de Maestro, avec des jurys d’IA. Les copies et verdicts complets ne sont pas publiés ici. Les sujets sont peu nombreux, les générations varient et le protocole ne constitue pas un audit indépendant.

Ces résultats ne classent pas les autres outils IA et ne garantissent ni le prix, ni la sécurité, ni la qualité de votre application. Pour votre projet, demandez surtout une vérification du parcours réellement utilisable et la liste de ce qui reste à faire. Nous racontons aussi les échecs qui ont fait évoluer nos contrôles.