Nos benchmarks publient nos défaites : ce que SWE-bench ne peut plus vous dire

32,7 % des correctifs réussis sur SWE-bench contiennent une fuite de la solution, selon un position paper récent. Pendant que le leaderboard de référence s'effondre, nous publions nos propres duels, victoires ET défaites comprises.

Un position paper récent recense 32,7 % de fuites de solution dans les correctifs réussis sur SWE-bench, le leaderboard de référence des agents de code (arxiv.org/pdf/2606.17799). Pendant que la référence du secteur s'effondre sous ses propres biais, nous publions nos propres duels, sur des sujets inventés à chaque campagne, victoires et défaites comprises.

Ce qui a cassé la confiance

SWE-bench n'est pas seul en cause. Une enquête Stack Overflow 2025 mesure 46 % de défiance envers l'exactitude des outils IA chez les développeurs, contre 33 % de confiance, alors que 84 % les utilisent quand même (survey.stackoverflow.co/2025/ai). Et une étude Cohere/Stanford/MIT/Allen AI a montré que Meta a testé 27 variantes privées de ses modèles sur le leaderboard LMArena avant Llama 4, pour ne publier que la meilleure (arxiv.org/abs/2504.20879). Le problème n'est plus un bug isolé, c'est une pratique installée, et elle explique pourquoi un chiffre affiché seul, sans protocole vérifiable derrière, ne convainc plus personne de sérieux.

Ce que nous faisons différemment

Chaque campagne repart de sujets neufs, jamais publiés avant le run, jugés par trois juges des deux côtés aux mêmes grilles, copies anonymisées. Nous avons commencé, début août, par perdre : notre premier duel s'est soldé par 82,1 contre 90,8 pour la méthode de référence. Ce résultat est resté public. Chaque version suivante de notre moteur a corrigé exactement ce que ce jury avait trouvé à redire, jusqu'à inverser la tendance : le détail complet, avec la défaite de départ, est dans la qualité mesurée sur six jours de duels.

La tentation du cherry-picking, nous l'avons eue

Publier le meilleur run et taire les autres est une tentation réelle, pas un vice qu'on prête aux autres de loin. Notre garde-fou : les mêmes juges jugent les deux côtés du duel, dans le même ordre de passage tiré au sort, et les coûts en dollars de chaque campagne sont publiés à côté des scores. Un score sans son coût, et sans la question « a-t-il vraiment fini », ne dit rien.

Ce qu'on gagne à montrer une défaite

Une défaite documentée est une leçon transmissible ; une victoire seule ne l'est pas. Sur une campagne récente, un score qui semblait excellent (92,5 sur 100) couronnait en réalité un projet qui ne compilait pas et effaçait sa propre base à chaque lancement. Ce n'est qu'en creusant, en sondant le code exécuté plutôt qu'en lisant le document qui le décrit, que le défaut est apparu. Publier ce genre de résultat, avec l'explication de ce qui a été mal mesuré et pourquoi, vaut infiniment plus qu'un chiffre rond sans contexte, aussi flatteur soit-il pour nous à court terme.

Ce que vous pouvez vérifier vous-même

Les rapports détaillés de chaque campagne, sujet par sujet, avec les verdicts complets des juges et les coûts en dollars, existent en interne et alimentent chaque article que nous publions sur notre méthode. Nous ne demandons pas d'être crus sur parole ; nous demandons d'être vérifiés sur pièces, exactement comme nous le faisons pour ce que mesure notre ×10 de sobriété. Un benchmark qui ne peut pas être remis en cause par celui qui le lit n'est pas un benchmark, c'est une affiche publicitaire habillée de chiffres. La beta de Maestro est gratuite, sur invitation : bemaestro.fr.