Un assistant IA gratuit qui livrait du code qui ne compile pas : trois passes de réglage

Nous voulions offrir un chemin sans abonnement. Nous avons mis un assistant gratuit sur notre banc d'essai, et il a livré vingt-cinq étapes validées dont le code ne se lançait pas. Ce que trois passes de réglage ont appris, sur lui et surtout sur nous.

Un assistant IA gratuit peut valider chaque étape de la méthode et livrer du code qui ne compile pas : notre banc d'essai du 17 août 2026 l'a mesuré (notes internes de l'équipe). Mistral Vibe a encaissé 1,44 million de jetons sans une coupure, fait approuver 25 étapes, et livré un projet qui ne démarrait pas.

Pourquoi nous avons monté ce banc

Une offre payante d'assistant peut constituer un premier poste de dépense pour diriger des agents dans Maestro, gratuit pendant la beta. Ce test porte sur ce poste IA, pas sur le coût complet d'un produit : votre validation, son hébergement, ses services externes et sa maintenance restent à prévoir. Nous cherchions une façon de commencer sans offre payante pour un premier contact, en vérifiant d'abord ce qui existe : un palier gratuit sans carte bancaire. Notre banc d'essai fait tourner le moteur pour de vrai sur des projets jetables, avec un agent qui joue l'utilisateur, comme dans nos cinq tempéraments de testeur. Il suffisait de changer l'assistant qui travaille et de regarder où la chaîne casse.

Première passe : dix-huit étapes au lieu de trois

Le premier essai, en mode express, a produit un brief, un cahier des charges et une architecture corrects, tous validés par l'utilisateur simulé. Puis le découpage a rendu 18 étapes là où le mode express en attend trois, a dépassé son délai, et la chaîne s'est arrêtée avant la moindre ligne de code. Aucun blocage de débit, en revanche : le gratuit ne freine pas, il est lent, chaque étape prenant deux à cinq fois plus longtemps.

Nous avons lu la transcription. L'explosion venait de la spécification, cinq grands chantiers au lieu de deux, et le mode express se contentait de dire « va à l'essentiel ». Pour un assistant, cette phrase est une contrainte ; pour un autre, c'est un style. La sobriété que nous croyions acquise était un comportement spontané d'un seul assistant, jamais écrit nulle part. Nous avons donc écrit la règle : l'essentiel est un budget, deux grands chantiers au plus, cinq étapes au plus, réduis le périmètre. Le rejeu est allé au bout en 19 minutes, avec deux chantiers et cinq étapes approuvées.

Deuxième passe : le projet entier ne se lançait pas

Sur un projet plus long, le même assistant a tenu 93 minutes et 1,44 million de jetons sans une coupure, avec 25 étapes approuvées et leurs contrats. Le code livré, lui, ne démarrait pas : huit erreurs de compilation, un point d'entrée mal désigné, aucun assembleur d'application, un commentaire promettant un travail jamais fait, et une commande de lancement qui n'existait pas. Chaque étape avait pourtant passé sa vérification, parce que la vérification regardait les étapes, une par une, et jamais le projet entier. Une deuxième règle implicite venait d'apparaître : un assistant habitué à nos usages assemblait le tout de lui-même, et nous avions pris cette habitude pour une garantie. Le design produit par ce moteur, au passage, était propre et générique, avec un formulaire nu et des polices chargées depuis un service extérieur.

Troisième passe, pas encore rejouée

Nous avons ajouté à la vérification une exigence de plus : le projet entier compile et se lance, la commande de démarrage est exécutée puis arrêtée aussitôt, et le manifeste ne promet que ce qui existe. Nos contrôles à blanc passent. Le rejeu en conditions réelles, lui, n'a pas encore eu lieu : nous l'écrivons ici plutôt que d'annoncer un problème résolu. Cette découverte a d'ailleurs profité à tous les assistants, y compris payants, comme souvent quand une méthode corrige ce qu'un meilleur modèle masquait.

Ce que le gratuit vaut

L'explication du « zéro coupure » est arrivée par courriel du fournisseur le soir même : le palier gratuit n'est pas bridé au débit, il est plafonné au mois. Notre après-midi de banc, environ 1,9 million de jetons, avait brûlé 80 % du quota, et la clé se coupait à 100 % jusqu'au renouvellement. Un palier gratuit sert donc à essayer, pas à travailler. Nous ne le proposerons jamais sous le mot « utiliser gratuitement », et nous ne le mettrons pas en premier contact tant que la chaîne complète n'ira pas au bout deux fois de suite.

En pratique, si vous voulez tester sans payer

Prenez la clé gratuite, faites un seul projet court, et regardez deux choses : est-ce que le découpage rend un nombre d'étapes que vous pouvez lire, et est-ce que le produit se lance sur votre machine à la fin. Ces deux contrôles vous coûtent une soirée et vous disent tout. Si le second échoue, le reste ne compte pas, quelle que soit la beauté des documents produits : c'est la frontière entre le prototype et le produit, et elle ne se voit pas à l'écran.