Quand la note baisse : ce que nos comparaisons de logiciels ont montré

En août 2026, une nouvelle version obtenait une moyenne plus basse. Nous avons comparé les logiciels deux par deux pour comprendre ce résultat. Voici ce que cette vérification a montré, sans convertir les verdicts en une nouvelle note.

Une note qui passe de 93,3 à 87,0 semble annoncer une baisse de qualité. Mais nos deux campagnes d’août 2026 ne se jugeaient pas dans les mêmes conditions. Pour comprendre la différence, nous avons remis côte à côte les résultats des deux versions, sur les mêmes sujets.

Pourquoi la baisse nous a fait douter

La moyenne de 93,3 concernait notre méthode v2.9, avec un cas rejugé en tenant compte d’une décision du client simulé. Celle de 87,0 concernait la v3.1, évaluée lors d’une autre campagne. Comme l’explique le bilan des essais, soustraire ces moyennes ne permettait pas de mesurer directement un progrès ou une régression.

Comparer deux résultats devant le même juge

Nous avons organisé huit comparaisons appariées : pour chaque sujet, un juge IA examinait les deux copies anonymisées, présentées dans un ordre tiré au sort. La v3.1 a été préférée dans six cas sur huit. La v2.9 gardait l’avantage pour la facturation et le suivi d’habitudes. Ce résultat décrit ces huit comparaisons, pas un taux de réussite général.

Des défauts absents de la note initiale

Les essais d’exécution ont révélé des problèmes dans d’anciennes copies pourtant bien notées. Une pointeuse ne compilait pas ; son code de démarrage réinitialisait aussi la base de données. Un outil de rangement pouvait écraser des fichiers. Ces constats montraient que les notes initiales avaient laissé passer des défauts importants. Ils ne suffisent pas à attribuer tout l’écart de moyenne à la seule sévérité du jury.

Pourquoi nous retirons la note convertie

Nous avions essayé de traduire les préférences du juge en points, à l’aide d’un barème fixé avant les verdicts. Le résultat dépendait de ce barème et des anciennes notes choisies comme références. C’était une estimation construite, pas une nouvelle note directement observée. Nous retenons ici les six comparaisons favorables sur huit, sans leur attribuer une note sur 100 ni un gain chiffré équivalent.

Les limites qui restent

Le protocole était interne : un essai retenu par version et par sujet, un juge IA par comparaison, et seulement le premier lot de développement. Les huit cas ne prouvent ni la régularité du résultat ni l’achèvement des applications. Le jury de la campagne v3.1 recevait le besoin initial et celui validé avant le développement ; sur ces huit cas, les deux documents étaient identiques.

La règle utile pour votre projet

Avant de comparer deux notes, vérifiez le besoin évalué, la version du logiciel, les critères et les essais réellement exécutés. Si les conditions changent, une comparaison directe des logiciels peut apporter une information différente de la moyenne. Nous conservons les résultats défavorables dans notre démarche de publication des défaites. Une note aide à examiner le travail ; elle ne remplace pas la vérification des fonctions dont vous avez besoin.