Ein Bild nach dem anderen: Filmnoten, die stimmen

Nach einem Render ziehen wir Bilder aus dem fertigen Film und fragen ein Vision-Modell, was daran nicht stimmt: Text unter der Untertitelzeile, ein Bild, das nicht zum Gesprochenen passt, dieselbe Ansicht zweimal. Die Antwort wird zu einer Note und einer kurzen Liste von Mängeln, die neben dem Film stehen.

Am 19. September haben wir jeden Film unserer eigenen Website neu gerendert und jedes Urteil neben die Bilder gelegt, die es nannte. Die meisten Beanstandungen hielten den Bildern nicht stand. Ein französischer Film verlor Punkte für einen Widerspruch, der den Text einer Szene mit dem Bild der nächsten verglich. Ein deutscher Film galt als zerfahren, wegen eines Layouts, das auf keinem seiner Bilder vorkommt.

Das wiegt schwerer, als es klingt. Wenn ein sauberer Film um fünfzig Punkte schwanken kann, sagt auch eine niedrige Note bei einem Film mit echtem Problem nichts aus, und wer sich auf die Note verlässt, du genauso wie wir, hört auf, sie zu lesen. Eine Prüfung, der niemand glaubt, ist schlimmer als keine, denn sie kostet trotzdem Aufmerksamkeit. Genau deshalb wollten wir verstehen, woher jeder einzelne Ausschlag kam, statt nur an der Formel zu drehen.

Hinter diesen Berichten steckte ein Mechanismus. Wir schickten sechs Bilder in einer Anfrage, jedes beschriftet, und fragten nach Mängeln pro Bild. Irgendwo hängte das Modell eine Beschriftung an das falsche Bild: Es las den Untertitel von Szene 4, während es Szene 3 ansah, oder verschmolz zwei Nachbarn zu einem Urteil.

Die Lösung: Wir verlangen nicht mehr, dass es sechs Bilder auseinanderhält. Ein Bild und eine Frage pro Aufruf lassen sich nicht verwechseln. Jedes Bild wird jetzt einzeln bewertet, daneben nur der Sprechtext und der Untertitel seiner Szene, und die Note des Films ist der Mittelwert seiner Bilder.

Eine Frage braucht tatsächlich alle Bilder zugleich: Zeigen zwei Szenen dieselbe Ansicht? Ein Film, der sich wiederholt, wirkt gestreckt, und das merkt man nur, wenn man die Szenen nebeneinanderlegt.

Daraus wurde ein zweiter, eigener Aufruf, der nichts anderes gefragt wird. Er hat sich in seiner ersten Woche bewährt und zwei wirklich identische Szenen in einem Hochformatfilm gefunden. Ein wiederholtes Paar kostet jetzt einen festen Abzug und steht ganz oben in der Mängelliste, sodass du den Grund für eine niedrigere Note immer zuerst liest.

Ein Teil des Rauschens kam aus unserer eigenen Anweisung. Der Bewertungs-Prompt beschrieb noch ein Label im Bild, das der Renderer gar nicht mehr zeichnet, also suchte das Modell danach und meldete es als fehlend. Wir haben es gestrichen. Ein Prüfer, dem man sagt, er solle etwas finden, findet es auch, wenn es nicht da ist.

Danach kamen die neu bewerteten Filme mit Noten zurück, die zu dem passten, was wir sahen:

• die englische und die spanische Startseiten-Version mit 100, ohne Mängel;
• die deutsche mit 85, aus nachprüfbaren Gründen;
• die französische und die Hochformat-Version mit einer kurzen Liste konkreter, einzeln prüfbarer Punkte.

Vor dem Release haben wir einen unabhängigen Reviewer gebeten, die Änderung anzugreifen. Er hat die Ränder nachgeschärft: Jeder Einzelbild-Aufruf gelingt oder scheitert für sich, sodass eine langsame Antwort nie die ganze Prüfung kippt, und die Karaoke-Markierung bleibt exakt beim gesprochenen Wort, zu dem sie gehört.

Damit das wiederholbar ist, haben wir einen einzigen Befehl geschrieben, der die Filme unserer Website neu rendert, auf sie wartet und jedes Urteil neben Länge und Warnungen ausgibt. Er endet mit dem Satz, den uns diese Woche gelehrt hat: Eine Note ist ein Hinweis. Man öffnet die Bilder, bevor man ihr glaubt.

Dieses Prinzip prägt das Produkt. Die Note deines Films sagt dir, wo du hinsehen sollst; die Bilder sagen dir, ob es stimmt. Wie Filme entstehen und geprüft werden, liest du auf der Funktionsseite.