Une image à la fois : une note de film enfin fiable

Après un rendu, nous extrayons des images du film terminé et demandons à un modèle de vision ce qui ne va pas : un texte sous le sous-titre, une image qui ne colle pas à ce que dit la voix, le même plan montré deux fois. La réponse devient une note et une courte liste de défauts, affichées à côté du film.

Le 19 septembre, nous avons refait tous les films de notre propre site et confronté chaque verdict aux images qu'il citait. La plupart des reproches ne tenaient pas face aux images. Un film français perdait des points pour un décalage qui comparait la narration d'une scène à l'image de la suivante. Un film allemand était jugé décousu pour une mise en page qui n'apparaît sur aucune de ses images.

C'est plus grave qu'il n'y paraît. Si un film propre peut varier de cinquante points, une note basse sur un film vraiment raté ne dit rien non plus, et ceux qui s'appuient sur la note, vous comme nous, cessent de la lire. Une vérification à laquelle personne ne croit est pire qu'aucune, car elle coûte quand même de l'attention.

Derrière ces rapports, un seul mécanisme. Nous envoyions six images en une requête, chacune étiquetée, et demandions les défauts image par image. Quelque part, le modèle attachait une étiquette à la mauvaise image : il lisait le sous-titre de la scène 4 en regardant la scène 3, ou fondait deux voisines en un seul jugement.

La solution : cesser de lui demander de garder six images bien séparées. Une image et une question par appel, impossible de les confondre. Chaque image est désormais notée seule, avec à côté uniquement la narration et le sous-titre de sa scène, et la note du film est la moyenne de ses images.

Une question demande vraiment toutes les images à la fois : deux scènes montrent-elles le même plan ? Un film qui se répète paraît rallongé, et on ne le voit qu'en comparant les scènes côte à côte.

C'est devenu un second appel, distinct, à qui l'on ne demande rien d'autre. Il a fait ses preuves dès sa première semaine en repérant deux scènes vraiment identiques sur un film vertical. Une paire répétée coûte maintenant une pénalité fixe et ouvre la liste des défauts : la raison d'une note plus basse est toujours la première chose que vous lisez.

Une partie du bruit venait de notre propre consigne. Le prompt de notation décrivait encore une étiquette à l'écran que le rendu ne dessine plus ; le modèle la cherchait et la signalait manquante. Nous l'avons retirée. Un relecteur à qui l'on dit de trouver quelque chose finit par le trouver, même quand il n'y est pas.

Ensuite, les films renotés sont revenus avec des notes conformes à ce que nous voyions :

• les films d'accueil anglais et espagnol à 100, sans défaut ;
• l'allemand à 85, pour des raisons vérifiables ;
• le français et le vertical avec une courte liste de reproches concrets, vérifiables un par un.

Avant la mise en ligne, nous avons demandé à un relecteur indépendant d'attaquer le changement. Il en a resserré les bords : chaque appel image par image réussit ou échoue seul, si bien qu'une réponse lente ne fait jamais perdre tout l'audit, et le surlignage karaoké reste calé sur le mot exact qu'il accompagne.

Pour rendre tout cela reproductible, nous avons écrit une seule commande qui refait les films de notre site, les attend, puis affiche chaque verdict avec sa durée et ses avertissements. Elle se termine par la phrase que cette semaine nous a apprise : une note est une piste. On ouvre les images avant d'y croire.

Ce principe guide le produit. La note de votre film vous dit où regarder ; les images vous disent si c'est vrai. Découvrez comment les films sont fabriqués et vérifiés sur la page des fonctionnalités.