Le problème n’était pas le modèle, mais une phrase
· 4 min de lecture
Les storyboards écrits par un assistant via notre serveur MCP se lisaient mieux que ceux de notre propre chaîne. L’explication évidente était le modèle, et la solution évidente, un modèle plus récent et plus gros. Avant de toucher à quoi que ce soit, nous avons construit un banc d’essai, et il a désigné quelque chose de bien plus utile : une seule phrase de nos consignes. Le même week-end, chaque affirmation d’un script a reçu une origine enregistrée.
Un seul modèle pour tout, choisi une fois
Chaque étape textuelle de notre chaîne, de la lecture de la page à la planification, la relecture et la révision, tournait sur un seul modèle : Gemini 2.5 Flash. Il avait été choisi quand c’était le plus récent et n’avait jamais été remis en question, alors que de nouvelles générations Flash et deux modèles Pro étaient désormais disponibles.
La question était donc légitime : l’écart entre le storyboard d’un assistant et le nôtre venait-il simplement du modèle ? La réponse tentante était de monter de version et de publier. Nous avons plutôt construit un banc qui fait tourner le vrai planificateur, avec le vrai prompt, sur la même page avec plusieurs modèles, et note chaque résultat avec les mêmes contrôles qu’un film de production.
Ce qu’a dit le banc d’essai
Le premier passage n’a pas été serré, et pas dans le sens attendu :
- Gemini 2.5 Flash : 80, une erreur, 14 % sous le budget de mots
- Gemini 2.5 Pro : 72, deux erreurs, 66 % sous le budget
- une préversion 3.1 Pro : 52, trois erreurs
- une préversion Flash plus récente : 44, quatre erreurs
Le modèle Pro a écrit trois scènes et vingt-cinq mots pour un brief de quarante-cinq secondes, deux fois. Avec un budget de mots ferme, un plus gros modèle n’est pas automatiquement un meilleur réalisateur. Une montée de version faite par confiance aurait donné à chaque film un script plus court et plus plat.
Le banc mesure le premier jet, avant que notre relecture n’en répare une partie : ces notes sont un plancher, pas le film fini. Un plancher suffit pour comparer des modèles équitablement.
Tous les modèles suivaient la même phrase
Le constat le plus intéressant, c’est ce que les modèles avaient en commun. Tous restaient sous le budget de mots, de 8, 14, 24 et 66 %. Quatre modèles qui se trompent de la même façon, ce n’est pas un problème de modèle ; ce sont quatre modèles qui suivent la consigne reçue.
Cette consigne disait que le script « doit faire N mots ou moins », et chaque raison donnée allait dans le même sens : écrivez plus et le film sera trop long. Rien ne nommait de plancher. La nouvelle tentative ne se déclenchait que sous 85 % du budget, alors que nos contrôles jugeaient le résultat à plus ou moins 10 %. Un modèle parfaitement obéissant écrivait confortablement en dessous, puis se faisait signaler par une règle qu’il n’avait jamais vue.
Nous avons donc nommé la fourchette : visez N, pas moins de 0,92 N, pas plus de 1,05 N, et sachez que rester court est l’erreur courante. La nouvelle tentative utilise exactement cette fourchette. Même modèle, même page, trois passages : 88, 84 et 96, la durée à 3 % près.
Le bon modèle pour chaque étape, choisi par la mesure
Le modèle par défaut n’a pas bougé. Ce qui est sorti, c’est le moyen de le changer sans risque. Le réglage unique est devenu quatre réglages, un par type de travail :
- les tâches mécaniques, comme la langue et l’alignement
- la lecture de la page, seule étape qui regarde une capture d’écran
- l’écriture du storyboard
- sa relecture et sa révision
Chacun est lu au moment où il sert : le banc pilote le vrai chemin du code et non une copie, et une étape peut changer sans toucher les autres. Chacun se rabat sur celui du dessus. La règle écrite à côté est courte : ne jamais changer de modèle pour son numéro de version ; passer chaque candidat au banc au moins trois fois et comparer.
Chaque affirmation sait d’où elle vient
La veille, nous avions renforcé autre chose dans les mêmes scripts. Un storyboard est un ensemble d’affirmations sur le produit de quelqu’un, prononcées sur des images de son propre site. La phrase qui compte le plus est celle qui sonne vrai et ne l’est pas, comme une certification que l’entreprise n’a pas. Un comptage de mots ne peut pas la voir, pas plus qu’un contrôle des images ou de la langue.
Chaque affirmation porte donc désormais son origine :
- la page, ou ce que nous en avons lu
- le brief écrit par le client, qu’il lui appartient d’affirmer
- nulle part
Un nom venu de nulle part arrête le rendu pour un passage de supervision, et le registre complet est conservé pour chaque film : « aucun problème trouvé » veut dire vérifié, pas sauté. Le détecteur est volontairement étroit, et la plupart de ses tests sont des cas qui ne doivent pas se déclencher : l’allemand met une majuscule à chaque nom commun, si bien que lire une majuscule comme un nom signalerait chaque phrase allemande. Voyez comment ces contrôles façonnent nos films sur notre page différence.
Voyez-le sur votre propre site
Collez une page et obtenez la vidéo commentée dont parle ce blog. La première est offerte.
À lire ensuite
