L'IA rend les experts plus lents : pourquoi la validation doit être une architecture, pas une corvée

L'étude METR a mesuré des développeurs expérimentés 19 % plus lents avec l'IA, alors qu'ils se croyaient 20 % plus rapides. La relecture et la vérification mangeaient le gain. Le problème n'est pas la relecture : c'est où on la place.

L'étude METR a mesuré des développeurs expérimentés 19 % plus lents avec l'IA sur leur propre code, alors qu'ils se croyaient 20 % plus rapides (newsletter.getdx.com/p/metr-study-on-how-ai-affects-developer-productivity). L'écart vient de la relecture et de la vérification, qui mangent le gain apparent. Notre thèse : le problème n'est pas la relecture, c'est où on la place.

Ce que l'étude METR mesure vraiment

Le contraste est net : « developer self-reports after using AI are overoptimistic to the point of being on the wrong side of speedup/slowdown », dit l'auteur principal de l'étude sur le fil Hacker News qui l'a relayée (news.ycombinator.com/item?id=44522772). Relire du code produit par une IA, ligne à ligne, pour vérifier qu'il fait ce qu'on croit avoir demandé, coûte plus cher qu'écrire le code soi-même dans bien des cas. Ce n'est pas une surprise ; c'est la relecture au mauvais niveau.

Relire ligne à ligne, ça ne tient pas dans une journée de travail normale

Un non-développeur ne peut de toute façon pas relire du code ligne à ligne : ce n'est vraiment pas une option qui s'offre à lui, quelle que soit sa bonne volonté. Mais même un développeur expérimenté y perd, selon METR, alors qu'il en a la compétence et le vocabulaire. La relecture qui compte n'est pas celle du code, c'est celle de l'intention avant qu'elle ne devienne du code : le brief, la spécification, le découpage en tâches. Un document court se juge en quelques minutes ; du code se relit en heures, et encore, sans garantie de tout voir, surtout quand plusieurs centaines de lignes changent d'un coup dans des fichiers qu'on n'a jamais ouverts soi-même.

Ce que Maestro déplace

Trois mécanismes concentrent la vérification là où elle est efficace plutôt que là où elle est habituelle. D'abord, la gate « Ça me va » : vous validez des documents courts aux bons jalons, jamais du code. Ensuite, les tests écrits avant le code : la vérification technique tourne automatiquement, sans que vous ayez à la lire. Enfin, une relecture par un agent dédié, bornée dans son périmètre plutôt que promise infinie, qui ne rejoue jamais les tests ni la vérification déjà faits, pour ne pas dupliquer un travail long qui a déjà eu lieu ailleurs dans la chaîne.

La preuve par le harnais

Ce déplacement de la validation n'est pas qu'une promesse : c'est ce que vérifie notre propre agent testeur, qui joue le parcours entier à la place d'un utilisateur humain avant chaque mise à jour, plusieurs tempéraments compris. La validation existe, mais elle porte sur le bon objet, au bon moment, pas sur chaque ligne de chaque fichier écrit par un agent.

Ce que ça implique pour vous

Vous n'échappez pas à la vérification en dirigeant une équipe d'agents, vous en changez la nature. Un rapport cité par SQ Magazine relève que les meilleurs gains obtenus avec des agents IA vont aux tâches à critères de succès clairs et erreurs récupérables (sqmagazine.co.uk/ai-agent-autonomy-statistics) : c'est exactement ce qu'une gate bien placée, plutôt qu'une relecture générale, produit. Un critère de succès clair, écrit dans une spécification courte, fait plus pour la fiabilité d'un produit que des heures de relecture menées sans grille et sans méthode.