Une équipe d'agents IA peut-elle livrer votre logiciel ? Ce que nous avons mesuré

Neuf projets menés de l'idée au produit vérifié, trois juges par copie, des coûts publiés au centime. Ce que la mesure dit de la vraie capacité d'une équipe d'agents, et ce qu'elle ne dit pas.

Oui, à condition de la diriger. Sur neuf projets menés de l'idée au produit vérifié, l'équipe d'agents de Maestro a obtenu 93,3 sur 100 devant un jury commun, contre 83,5 pour la méthode ouverte de référence, en franchissant la ligne d'arrivée neuf fois sur neuf pour 115,65 $ de jetons.

D'abord, ce qu'on entend par « équipe d'agents »

Un agent IA est un modèle chargé d'un rôle étroit : cadrer un besoin, écrire une spécification, construire une étape, vérifier le résultat. Une équipe d'agents enchaîne ces rôles avec des points de validation humaine entre chaque. La question qui fâche : ce dispositif produit-il des logiciels qui marchent, ou de belles démonstrations ? Nous avons voulu une réponse mesurée plutôt qu'un avis.

Le protocole, sans jargon

Neuf projets réalistes, du type qu'une PME commande : des notes de frais avec TVA, des dépenses partagées, une pointeuse, une réservation de salles, une facturation, un inventaire. Deux méthodes partent du même brief : la nôtre, et BMAD-METHOD v6, la méthode ouverte de référence du domaine. Chaque copie va jusqu'au produit final, puis trois juges la notent aux mêmes grilles, copies anonymisées. Consigne aux juges : compiler, lancer et sonder le code, au lieu de se contenter de lire les documents.

Les résultats, défaite comprise

Le premier duel s'est soldé par une défaite : 82,1 contre 90,8. Les verdicts pointaient des cas jamais provoqués (la rétroactivité, les doublons, les centimes perdus dans les arrondis) et des documents qui contredisaient le code. Nous avons corrigé la méthode d'après chaque verdict, douze versions en six jours. En fin de campagne : 93,3 contre 83,5, et la ligne d'arrivée franchie neuf fois sur neuf, quand la référence a épuisé son budget trois fois en route, pour 238,66 $.

L'anecdote qui vaut la mesure

Une copie de pointeuse avait reçu 92,5 sur 100 sur la foi de ses documents. Le jour où un juge a lancé son code, elle ne compilait pas et effaçait sa base à chaque démarrage. Retenez ce détail au moment de choisir un outil : un logiciel livré par IA se juge en l'exécutant. Nos juges lancent tout ; exigez la même chose de ce qu'on vous livre.

Ce que la mesure ne dit pas

Ces scores sortent de notre propre protocole, avec des jurys d'IA, et d'aucun laboratoire indépendant. Un seul run par projet laisse du bruit, cinq à neuf points d'une exécution à l'autre ; nous concluons sur les écarts nets et sur les duels appariés, jamais sur les décimales. Et neuf projets de gestion ne prouvent rien sur un système critique à forte charge : pour cela, une agence spécialisée reste le bon interlocuteur.

La réponse à la question du titre

Une équipe d'agents livre un logiciel de gestion réel, vérifié, pour un coût qui tient dans un budget de PME, à une condition sans exception mesurée chez nous : quelqu'un dirige. Vous validez le cahier des charges, vous tranchez les règles, vous refusez ce qui ne va pas. Les neuf lignes d'arrivée franchies ont ce point commun. Le protocole et ses limites sont racontés en détail dans nos articles de benchmark ; la beta de Maestro est gratuite, sur invitation, sur bemaestro.fr.