Nicht das Modell war schuld, sondern ein Satz

Jede Textstufe unserer Pipeline, vom Lesen der Seite über Planen bis zum Prüfen und Überarbeiten, lief auf einem einzigen Modell: Gemini 2.5 Flash. Es war gewählt worden, als es das neueste war, und nie wieder hinterfragt, obwohl inzwischen neuere Flash-Generationen und zwei Pro-Modelle bereitstanden.

Die Frage war also berechtigt: Lag der Abstand zwischen dem Storyboard eines Assistenten und unserem einfach am Modell? Die verlockende Antwort wäre gewesen, die Version anzuheben und auszuliefern. Stattdessen haben wir einen Prüfstand gebaut, der den echten Planer mit dem echten Prompt auf derselben Seite mit mehreren Modellen laufen lässt und jedes Ergebnis mit denselben Prüfungen bewertet, an denen ein Produktionsfilm gemessen wird.

Der erste Durchlauf war nicht knapp, und nicht in der erwarteten Richtung:

• Gemini 2.5 Flash: 80, ein Fehler, 14 Prozent unter dem Wortbudget
• Gemini 2.5 Pro: 72, zwei Fehler, 66 Prozent unter dem Budget
• eine 3.1-Pro-Vorschau: 52, drei Fehler
• eine neuere Flash-Vorschau: 44, vier Fehler

Das Pro-Modell schrieb für einen fünfundvierzigsekündigen Auftrag drei Szenen mit fünfundzwanzig Wörtern, zweimal. Bei einem festen Wortbudget ist ein größeres Modell nicht automatisch der bessere Regisseur. Ein Versionssprung auf gut Glück hätte jedem Film ein kürzeres, flacheres Skript gegeben.

Der Prüfstand misst den ersten Entwurf, bevor unsere Prüfrunde einen Teil davon repariert, die Werte sind also eine Untergrenze, nicht der fertige Film. Für einen fairen Vergleich der Modelle reicht eine Untergrenze.

Spannender war, was die Modelle gemeinsam hatten. Jedes von ihnen blieb unter dem Wortbudget, um 8, 14, 24 und 66 Prozent. Vier Modelle, die sich gleich irren, sind kein Modellproblem; es sind vier Modelle, die der Anweisung folgen, die sie bekommen haben.

Diese Anweisung sagte, das Skript „muss N Wörter oder weniger haben“, und jede genannte Begründung zeigte in dieselbe Richtung: Schreib mehr, und der Film wird zu lang. Nirgends stand eine Untergrenze. Der zweite Versuch griff erst unter 85 Prozent des Budgets, während unsere Prüfungen das Ergebnis mit plus oder minus 10 Prozent bewerteten. Ein vollkommen gehorsames Modell schrieb bequem darunter und wurde dann von einer Regel markiert, die es nie gesehen hatte.

Also haben wir den Bereich benannt: Ziel ist N, nicht unter 0,92 N, nicht über 1,05 N, und zu kurz ist der häufige Fehler. Der zweite Versuch nutzt jetzt genau diesen Bereich. Gleiches Modell, gleiche Seite, drei Durchläufe: 88, 84 und 96, die Länge auf 3 Prozent genau.

Das Standardmodell blieb, wo es war. Ausgeliefert wurde die Möglichkeit, es sicher zu wechseln. Aus der einen Modelleinstellung wurden vier, eine pro Art von Arbeit:

• mechanische Aufgaben wie Sprache und Abgleich
• das Lesen der Seite, die einzige Stufe, die einen Screenshot ansieht
• das Schreiben des Storyboards
• seine Prüfung und Überarbeitung

Jede wird in dem Moment gelesen, in dem sie gebraucht wird, der Prüfstand steuert also den echten Codepfad statt einer Kopie, und eine Stufe kann sich ändern, ohne die anderen zu berühren. Jede fällt auf die darüberliegende zurück. Die Regel daneben ist kurz: Wechsle ein Modell nie wegen seiner Versionsnummer; schick jeden Kandidaten mindestens dreimal über den Prüfstand und vergleiche.

Am Tag davor hatten wir in denselben Skripten etwas anderes gestärkt. Ein Storyboard ist eine Reihe von Aussagen über das Produkt eines anderen, gesprochen über Aufnahmen seiner eigenen Website. Der wichtigste Satz ist der, der wahr klingt und es nicht ist, etwa eine Zertifizierung, die die Firma nicht hat. Eine Wortzählung sieht das nicht, eine Prüfung der Bilder oder der Sprache ebenso wenig.

Deshalb trägt jede Aussage jetzt ihre Herkunft:

1. 1die Seite oder das, was wir von ihr gelesen haben
2. 2das Briefing des Kunden, das er selbst verantwortet
3. 3nirgendwo

Ein Name, der von nirgendwo kommt, stoppt das Rendering für eine Überprüfung, und das vollständige Verzeichnis wird für jeden Film aufbewahrt, „keine Probleme gefunden“ heißt also geprüft, nicht übersprungen. Der Erkenner ist absichtlich eng, und die meisten seiner Tests sind Fälle, die nicht anschlagen dürfen: Im Deutschen wird jedes Nomen großgeschrieben, wer einen Großbuchstaben als Namen liest, würde jeden deutschen Satz markieren. Wie diese Prüfungen unsere Filme prägen, siehst du auf unserer Seite zum Unterschied.