Qui a dérivé, le système ou le juge ? Nous avons mesuré la sévérité de notre jury

Une évaluation de 21 juges IA montre des classements qui bougent jusqu'à 14 positions selon le benchmark utilisé. Chez nous, un score moyen a chuté de six points d'une campagne à l'autre : nous avons dû prouver si c'était notre moteur, ou notre jury, qui avait changé.

Une évaluation de 21 juges IA montre des classements d'agents qui bougent jusqu'à 14 positions selon le benchmark utilisé (arxiv.org/html/2606.19544). Nous l'avons vécu : une moyenne est tombée de 93,3 à 87,0 entre deux campagnes, et rien ne disait si c'était notre moteur, ou notre jury, qui avait changé.

Le symptôme

Nous avions déjà raconté, dans la qualité mesurée sur six jours de duels, qu'une chute de six points nous avait fait douter d'une régression. Cet article-ci va plus loin : comment prouver, méthodiquement, que c'était le jury qui avait durci son regard, pas notre moteur qui avait reculé.

La parade : le duel apparié

Une moyenne absolue ne prouve rien seule, parce qu'un jury n'est jamais parfaitement stable d'une session à l'autre : plus de matière à examiner (plus de code qui compile, qui se lance, qui se teste) pousse un juge sérieux à être plus exigeant, pas moins. La parade est le duel apparié : le même juge, les deux copies anonymisées du même sujet côte à côte, ordre tiré au sort. Sur ce protocole, la version la plus récente a gagné six duels sur huit face à la précédente, malgré une moyenne absolue plus basse.

Ce que les duels ont révélé

Les sondes d'exécution des duels ont montré pourquoi les anciennes moyennes trompaient : plusieurs bons scores couronnaient des châteaux de cartes jamais sondés. Un projet noté 92,5 sur 100 ne compilait pas et effaçait sa base de données à chaque lancement. Un autre, noté 91,6, écrasait silencieusement des fichiers. Les copies récentes livrent davantage de code réellement exécutable, et un jury qui lance, compile et sonde ce code devient logiquement plus sévère face à plus de matière à juger. La sévérité a dérivé avec ce qu'on lui donnait à voir, pas dans l'abstrait.

La notation calibrée

Pour rendre les deux campagnes comparables malgré tout, un barème de marge a été fixé avant les verdicts : égalité, marge légère, marge claire, marge nette, chacune valant un nombre de points fixe, ancré sur le score scellé de la version précédente. Ramenée sur cette échelle commune, la version la plus récente valait environ 96 sur 100, contre 93,3 pour la précédente à sa propre sévérité d'origine : un gain d'environ 3,5 points, dans le sens inverse de ce que la moyenne absolue laissait croire.

La règle qu'on a fini par acter

Les moyennes absolues ne se comparent plus qu'à l'intérieur d'une même campagne. Entre deux versions, seul le duel apparié fait foi, et le jury reçoit désormais deux versions de la cible (le brief initial et le brief tel qu'il a évolué avant le développement), pour ne plus confondre un pivot assumé avec un défaut de propagation. C'est la même exigence que nous appliquons en publiant nos défaites : une mesure ne vaut que si sa méthode de mesure est elle-même mise à l'épreuve.

Pourquoi ça dépasse notre cas

Toute équipe qui utilise un modèle de langage comme juge de son propre travail affronte ce même piège : une moyenne qui baisse n'est pas automatiquement une régression, et une moyenne qui monte n'est pas automatiquement un progrès. Sans duel apparié ni rejugement croisé, impossible de trancher. La beta de Maestro est gratuite, sur invitation : bemaestro.fr.