Nuestro probador más cruel es un agente: cinco temperamentos, del impaciente al destructor

Desde julio, cada nueva versión del motor se enfrenta a un agente que interpreta al usuario con cinco temperamentos, del impaciente al destructor, con un límite de 15 dólares: cinco fallos reales detectados el primer día.

Desde julio, cada nueva versión del motor de Maestro se enfrenta a un agente que interpreta al usuario con cinco temperamentos, del impaciente al destructor que intenta forzar los bloqueos, con un límite de 15 dólares: cinco fallos reales detectados el primer día. Este probador nunca duerme, nunca se cansa y no tiene ningún motivo para tratarnos con indulgencia.

El problema al que la investigación acaba de poner nombre

Un artículo académico reciente señala exactamente qué falla en los simuladores de usuarios para probar agentes de IA: son «demasiado cooperativos, perfectamente coherentes y demasiado habladores» (arxiv.org/html/2605.12894). Un simulador demasiado amable valida un producto que nunca ha conocido a un ser humano real, con prisa, distraído o de mala fe. Desde julio hemos construido lo contrario, con el nombre en clave harnais.

Cinco personajes y un solo motor a prueba

El principio: `pnpm harnais` ejecuta el motor Partition real en Node, con un agente que interpreta al usuario según cinco temperamentos. El impaciente responde en una frase y quiere verlo todo inmediatamente. El hablador ahoga cada pregunta bajo detalles inútiles. El distraído cambia de opinión durante el proceso. El desconfiado pide explicaciones en cada etapa. El destructor, por último, busca activamente el fallo: responder algo que no viene al caso, volver sobre una decisión tomada o empujar al motor hacia un comando que nunca debería ejecutar.

Este último temperamento es el más instructivo. Un producto que permite a un usuario corriente dirigir un equipo de agentes sin programar nunca también debe sobrevivir a quien, consciente o inconscientemente, intenta descarrilarlo. La prueba de choque con este temperamento nunca logró superar un bloqueo de seguridad: es la evidencia que buscábamos, no una suposición.

Cuánto costó y qué encontró

El arnés se ejecuta en CI en modo simulado cada vez que se envía código, con un límite de 15 dólares por sesión real. El primer día de uso detectó cinco fallos reales antes de que los encontrara ningún usuario humano: detecciones de estado que se equivocaban dos veces seguidas, una falsa señal verde en contratos nunca verificados, validaciones absorbidas en silencio y una copia de archivos que quedaba vacía en un caso concreto. Ninguno de estos defectos era visible al probar a mano, porque un ser humano que prueba su propio producto siempre repite el mismo camino, educadamente.

Por qué nadie más lo hace así

Las plataformas comerciales de simulación de agentes prueban chatbots aislados, no un recorrido de producto completo desde el brief hasta la entrega. Los artículos de investigación describen el problema sin un producto real detrás. Maestro hace que un agente interprete a su propio usuario con la instrucción explícita de no ser simpático, dentro del mismo motor que entrega a personas reales, con los mismos puntos de validación que ellas verán.

Lo que no sustituye

Un agente destructor sigue siendo un agente: imita comportamientos humanos difíciles, pero no tiene el cansancio de una noche real de trabajo ni los puntos ciegos de un oficio concreto. Las pruebas manuales con artesanos, terapeutas o asesores contables reales siguen siendo el juez final; el arnés elimina de antemano lo que un ser humano no debería tener que descubrir por él. Es un filtro, no un sustituto, y seguimos publicando tanto lo que detecta como lo que deja pasar, igual que con nuestros benchmarks.