Par Thomas Cohen, fondateur de Maestro
Ce que notre ×10 mesure, et ce qu'il ne mesure pas
Nous affichons un chiffre : environ 10 fois moins de contexte de méthode injecté aux agents. La mesure complète, avec ses limites.
Quand une équipe d'agents IA travaille, chaque agent reçoit des instructions de méthode : qui il est, ce qu'il doit produire, dans quel format, avec quelles vérifications. Ce texte occupe de la place dans sa mémoire de travail, le « contexte ». Plus la méthode est bavarde, moins il reste de place pour ce qui compte : votre projet.
Le protocole
Nous avons comparé la méthode de Maestro à BMAD-METHOD v6, la méthode ouverte de référence du domaine, sur un cycle identique : de l'idée à la première fonctionnalité vérifiée. Des deux côtés, nous avons reconstruit les instructions exactement comme elles partent vers l'agent, phase par phase : cadrage, spécification, architecture, découpage, construction, vérification.
Résultat : environ 6 400 jetons de méthode côté Maestro, environ 65 700 côté BMAD-METHOD. Un rapport d'environ 10, obtenu avec des choix de comptage volontairement défavorables à Maestro : les fichiers optionnels de BMAD ne sont pas comptés, et l'estimation des jetons pénalise légèrement le français.
Pourquoi la sobriété compte
Une méthode sobre laisse l'agent lire votre projet plutôt que son manuel. Elle rend aussi chaque étape moins lourde à traiter, puisque le même travail embarque moins de texte. Et elle vieillit mieux : nos documents sont courts par contrat (un brief tient sur une page, une étape de travail se suffit à elle-même), donc les agents des étapes suivantes relisent des documents légers.
Ce que le chiffre ne dit pas
Ce benchmark mesure le texte de méthode injecté, pas la facture finale d'un projet : celle-ci dépend aussi du code lu par les agents et de leurs réponses. Il ne mesure pas non plus la qualité des documents produits. Et l'équivalence des phases entre deux méthodes qui découpent différemment relève en partie de l'interprétation ; nous documentons le détail du comptage pour que n'importe qui puisse refaire le calcul.
Nous préférons un chiffre honnête et borné à une promesse ronde. Si un jour nous mesurons les coûts facturés de bout en bout, ce sera un autre article, avec le même niveau de détail.