Notre testeur le plus cruel est un agent : cinq tempéraments, du pressé au casseur

Depuis juillet, chaque nouvelle version du moteur affronte un agent qui joue l'utilisateur en cinq tempéraments, du pressé au casseur, plafonné à 15 dollars : cinq bugs réels attrapés dès le premier jour.

Depuis juillet, chaque nouvelle version du moteur Maestro affronte un agent qui joue l'utilisateur en cinq tempéraments, du pressé au casseur qui tente de percer les verrous, plafonné à 15 dollars : cinq bugs réels attrapés dès le premier jour. Ce testeur ne dort jamais, ne se lasse jamais, et n'a aucune raison de nous ménager.

Le problème que la recherche vient de nommer

Un papier académique récent pointe exactement ce qui cloche dans les simulateurs d'utilisateurs pour tester des agents IA : ils sont « trop coopératifs, parfaitement cohérents, trop bavards » (arxiv.org/html/2605.12894). Un simulateur trop gentil valide un produit qui n'a jamais rencontré un vrai humain, pressé, distrait ou de mauvaise foi. Nous avons construit l'inverse depuis juillet, sous le nom de code harnais.

Cinq personnages, un seul moteur à l'épreuve

Le principe : `pnpm harnais` fait tourner le vrai moteur Partition en Node, avec un agent qui joue l'utilisateur selon cinq tempéraments. Le pressé répond en une phrase et veut tout voir tout de suite. Le bavard noie chaque question sous des détails qui ne servent à rien. Le distrait change d'avis en cours de route. Le méfiant demande des comptes à chaque étape. Le casseur, enfin, cherche activement la faille : répondre à côté, revenir sur une décision actée, pousser le moteur vers une commande qu'il ne devrait jamais exécuter.

Ce dernier tempérament est le plus instructif. Un produit qui laisse un utilisateur ordinaire diriger une équipe d'agents sans jamais coder doit aussi survivre à celui qui, sciemment ou non, essaie de le faire dérailler. Le crash-test mené avec ce tempérament n'a jamais percé un verrou de sécurité : c'est la preuve qu'on cherchait, pas une supposition.

Ce que ça a coûté, ce que ça a trouvé

Le harnais tourne en CI à blanc à chaque envoi de code, plafonné à 15 dollars par session réelle. Le premier jour de mise en service, cinq bugs réels ont été attrapés avant qu'aucun utilisateur humain ne les rencontre : des détections de statut qui se trompaient deux fois de suite, un faux signal vert sur des contrats jamais vérifiés, des validations avalées silencieusement, une copie de fichiers qui restait blanche dans un cas précis. Aucun de ces défauts n'était visible en testant à la main, parce qu'un humain qui teste son propre produit répète toujours le même chemin, poliment.

Pourquoi personne d'autre ne fait ça de cette façon

Les plateformes commerciales de simulation d'agents testent des chatbots isolés, pas un parcours produit complet du brief à la livraison. Les papiers de recherche décrivent le problème sans produit réel derrière. Maestro fait jouer son propre utilisateur par un agent qui a pour instruction explicite de ne pas être sympathique, dans le même moteur qui livre à des gens réels, avec les mêmes gates de validation qu'eux verront.

Ce que ça ne remplace pas

Un agent casseur reste un agent : il imite des comportements humains difficiles, il n'a ni la fatigue d'une vraie soirée de travail ni les angles morts propres à un métier précis. Les tests manuels avec de vrais artisans, thérapeutes ou experts-comptables restent le juge final ; le harnais élimine en amont ce qu'un humain n'a pas à découvrir à sa place. C'est un filtre, pas un remplacement, et nous continuons de publier ce qu'il attrape autant que ce qu'il laisse passer, comme pour nos benchmarks.