La qualité, mesurée : six jours de duels avec la méthode de référence

Nous avions promis de mesurer un jour plus que la sobriété. C'est fait : plus de 180 verdicts de jury, douze versions de méthode, une défaite au départ, et une leçon sur la mesure elle-même.

En juillet, l'article sur notre ×10 se terminait par une promesse : si nous mesurons un jour au-delà du contexte injecté, ce sera un autre article, avec le même niveau de détail. Le voici. Entre le 5 et le 10 août, nous avons fait juger la méthode qui dirige les agents de Maestro face à BMAD-METHOD v6, la méthode ouverte de référence, sur ce qui compte à la fin : la qualité du produit livré.

Le protocole

Neuf projets réalistes, identiques des deux côtés : des notes de frais avec TVA, des dépenses partagées en colocation, une pointeuse, une réservation de salles, une facturation, un inventaire, une bibliothèque, un suivi d'habitudes, un rangement de fichiers. Chaque méthode part du même brief et va jusqu'au produit vérifié. Trois juges notent chaque copie, aux mêmes grilles, copies anonymisées. Ils compilent, lancent et sondent le code au lieu de se contenter des documents.

En interne, notre méthode s'appelle Partition. Le nom porte la thèse de Maestro : des documents courts qui se jouent, plutôt qu'un manuel qui se récite.

Nous avons commencé par perdre

Le premier duel, début août, s'est soldé par 82,1 contre 90,8, une défaite nette. Les verdicts disaient où : des cas vicieux jamais provoqués (la rétroactivité, les doublons, les centimes qui se perdent dans les arrondis), des documents qui contredisaient le code, des règles métier absentes. Nous avons tiré chaque version suivante de ces verdicts. Douze versions en six jours, chacune posant une règle à l'endroit exact où la précédente avait failli : provoquer les cas d'argent dès la spécification, prouver chaque réparation en conditions réelles, injecter l'expertise métier (la TVA multi-taux, les résidus d'arrondi, la paie) seulement quand le projet la touche.

Ce que disent les chiffres

En fin de campagne, aux mêmes grilles et devant les mêmes juges : 93,3 sur 100 pour Partition, 83,5 pour la méthode de référence. Côté coût, sur les neuf projets menés de bout en bout, Partition a franchi la ligne neuf fois sur neuf pour 115,65 $ ; la référence a épuisé son budget trois fois sur neuf avant d'avoir livré, pour 238,66 $. Sa conception est riche, ses documents souvent plus fournis que les nôtres ; l'écart se creuse à l'exécution, là où son code livré reste mince et ses tests rarement lancés. Notre sobriété d'origine, elle, n'a pas bougé : la méthode n'a pas grossi d'un octet en sept versions, et le ×10 de contexte tient toujours.

La leçon qui vaut l'article

La dernière version a rendu 87,0 de moyenne, six points sous la précédente. Nous avons failli conclure à une régression. Nous avons plutôt organisé des duels appariés : le même juge, les deux copies du même projet côte à côte, anonymisées, ordre tiré au sort. Verdict : la nouvelle version gagne six duels sur huit. Les sondes ont montré pourquoi ces moyennes nous trompaient. Plusieurs beaux scores anciens couronnaient des documents posés sur du code jamais sondé : une pointeuse notée 92,5 ne compilait pas et effaçait sa base à chaque lancement, un 91,6 écrasait des fichiers en silence. Les copies récentes livrent beaucoup plus de code exécutable ; les juges le lancent, et leur sévérité a dérivé avec la matière qu'on leur donne.

Depuis, nous avons acté la règle : les moyennes ne se comparent qu'à l'intérieur d'une même campagne, et entre deux versions, seul le duel apparié fait foi. Ramenée sur l'échelle d'origine par ces duels, la version actuelle vaut environ 96 sur 100.

Ce que le chiffre ne dit toujours pas

Ces scores sortent de notre propre protocole, avec des jurys d'IA, pas d'un laboratoire indépendant. Un seul run par projet laisse un bruit de cinq à neuf points ; nous concluons sur les mouvements structurels et sur les duels, jamais sur les décimales. Et des défauts mesurés restent consignés au registre : le protocole ne développe que le premier lot de chaque projet, et le câblage entre un module et son écran a fait trébucher trois campagnes de suite. Ces deux points sont le chantier suivant.

L'aventure a coûté environ 1 280 $ sur six jours, pour plus de 180 verdicts de jury et douze versions de moteur. Chaque règle de chaque version répond à un défaut mesuré. Le chiffre d'aujourd'hui se lit ainsi : une qualité supérieure aux mêmes grilles, moitié moins cher, et la ligne d'arrivée franchie à chaque fois.