La IA vuelve más lentos a los expertos: por qué la validación debe ser una arquitectura, no una carga

El estudio de METR midió a desarrolladores experimentados un 19 % más lentos con IA, aunque creían ser un 20 % más rápidos. La revisión y la verificación se comían la ganancia. El problema no es revisar: es dónde se sitúa la revisión.

El estudio de METR midió a desarrolladores experimentados un 19 % más lentos con IA sobre su propio código, aunque creían ser un 20 % más rápidos (newsletter.getdx.com/p/metr-study-on-how-ai-affects-developer-productivity). La diferencia proviene de la revisión y la verificación, que consumen la ganancia aparente. Nuestra tesis: el problema no es revisar, sino dónde se sitúa la revisión.

Lo que mide realmente el estudio de METR

El contraste es claro: «las autoevaluaciones de los desarrolladores después de usar IA son tan optimistas que se sitúan en el lado equivocado de la aceleración o la ralentización», dice el autor principal del estudio en el hilo de Hacker News que lo difundió (news.ycombinator.com/item?id=44522772). Releer el código producido por una IA, línea por línea, para verificar que hace lo que crees haber pedido cuesta más que escribirlo tú mismo en muchos casos. No es una sorpresa: es revisar en el nivel equivocado.

Revisar línea por línea no cabe en una jornada laboral normal

Una persona que no desarrolla no puede releer código línea por línea en ningún caso: no es una opción real para ella, por mucha voluntad que tenga. Pero, según METR, incluso un desarrollador experimentado pierde tiempo, aunque tenga las habilidades y el vocabulario. La revisión que importa no es la del código, sino la de la intención antes de convertirse en código: el brief, la especificación y el desglose en tareas. Un documento breve se juzga en unos minutos; el código se relee durante horas y, aun así, sin garantía de verlo todo, especialmente cuando cambian de golpe cientos de líneas en archivos que nunca has abierto.

Lo que desplaza Maestro

Tres mecanismos concentran la verificación donde es eficaz y no donde es habitual. Primero, el punto «Me parece bien»: validas documentos breves en los hitos adecuados, nunca código. Después, las pruebas escritas antes del código: la verificación técnica se ejecuta automáticamente, sin que tengas que leerla. Por último, una revisión por un agente dedicado, acotada en su alcance en lugar de prometerse infinita, que nunca repite las pruebas ni las verificaciones ya realizadas, para no duplicar un trabajo largo que ya ocurrió en otra parte de la cadena.

La prueba mediante el arnés

Este desplazamiento de la validación no es solo una promesa: lo verifica nuestro propio agente probador, que recorre todo el proceso en lugar de un usuario humano antes de cada actualización, incluidos varios temperamentos. La validación existe, pero se aplica al objeto correcto en el momento adecuado, no a cada línea de cada archivo escrito por un agente.

Lo que implica para ti

No evitas la verificación al dirigir un equipo de agentes: cambias su naturaleza. Un informe citado por SQ Magazine señala que las mayores ganancias con agentes de IA se dan en tareas con criterios claros de éxito y errores recuperables (sqmagazine.co.uk/ai-agent-autonomy-statistics): eso es exactamente lo que produce un punto de validación bien colocado, en lugar de una revisión general. Un criterio claro de éxito, escrito en una especificación breve, hace más por la fiabilidad de un producto que horas de revisión sin una rúbrica ni un método.