Zum Hauptinhalt springen
KI

Drei Videomodelle, Szene für Szene gewählt

· 4 Min. Lesezeit

Ein schneller Entwurf und eine filmische Eröffnung brauchen nicht dasselbe Videomodell. Bis zum 25. September kam jeder generierte Clip in einem PageToVid-Film von einem einzigen Modell, Googles Veo. An diesem Tag kamen Seedance von ByteDance und MiniMax dazu, und wir bauten die Schicht, mit der jede Szene sicher ihr eigenes wählt.

Ein Modell passt nicht zu jeder Einstellung

Ein Film besteht aus sehr unterschiedlichen Anfragen. Ein Entwurf will ein schnelles, leichtes Modell, weil du noch entscheidest, was der Film sagt. Eine lange Eröffnungseinstellung will ein größeres, das acht Sekunden halten und mehreren Referenzbildern derselben Figur folgen kann.

Unser erster Impuls war eine einzige Einstellung, die das Modell für den ganzen Dienst festlegt. Das war die falsche Form: Sie fror eine Antwort für alle Filme ein und stellte ein Deployment zwischen den Autor und seine Wahl. Deshalb nennt jetzt jede Szene ihr eigenes Modell, mit unseren kurzen Kennungen wie seedance-2.0-mini, und die genaue Modellkennung des Anbieters wird im Hintergrund nachgeschlagen. Eine Szene ohne Angabe bleibt bei Veo, also läuft jedes ältere Storyboard genau wie zuvor.

Drei APIs, eine Form

Jeder Anbieter beschreibt dieselbe Anfrage auf seine Weise. Einer schreibt die Auflösung „480P“ und erwartet sie als Feld. Ein anderer schreibt „480p“ und erwartet Auflösung, Dauer und Seitenverhältnis als Optionen, die an den Prompt-Text angehängt werden. Der dritte will das Seitenverhältnis in einem Konfigurationsobjekt. Sie unterscheiden sich auch bei Grenzen, Modellnamen und der Art, Nein zu sagen.

Wir haben jeden Adapter an der echten API gebaut statt nach unseren eigenen Notizen, und die echten Antworten haben uns mehr als einmal korrigiert:

  • bei MiniMax beginnt die Dauer bei 4 Sekunden, außer beim größten Modell, das 4 ablehnt
  • es gab ein Upscaling-Modell, das unser Katalog noch nicht führte
  • jede Seedance-Modellkennung trägt ein Datum, kurze Namen führen also ins Leere

Der erste echte Seedance-Clip, fünf Sekunden in 480p, kam nach 33 Sekunden zurück, schon mit eigener Tonspur.

Geprüft, bevor es gesendet wird

Bei Videomodellen ist eine Anfrage die Einheit, die man bezahlt, und die Ablehnung eines Anbieters kommt erst, nachdem sie gelaufen ist. Vier Sekunden von einem Modell mit fünf Sekunden Minimum oder eine Auflösung, die es nicht kann, sollten unsere Server nie verlassen. Deshalb kann jeder Adapter eine Anfrage lokal ablehnen, ohne Netzwerkaufruf, und diese Prüfung ist vom Senden getrennt: Router und Preisangebot nutzen genau dieselbe Regel.

Die Adapter werden gegen unseren Preiskatalog getestet: Beide müssen bei kürzestem Clip, längstem Clip und unterstützten Auflösungen jedes Modells übereinstimmen. Ein Clip, den wir anbieten, ist immer ein Clip, den der Adapter annimmt.

Dazu kam eine Erreichbarkeitsprüfung, denn „konfiguriert“ und „bereit zu antworten“ sind verschiedene Tatsachen. Ein noch nicht freigeschaltetes Modell oder eines außerhalb des Tarifs eines Kontos sehen von außen gleich aus: Ein Clip kommt nicht. Die Prüfung macht aus jedem Fall einen Satz, mit dem man etwas anfangen kann.

Ein Router, der weiß, wann er nicht wiederholt

„Der Prompt wurde gefiltert“ und „die Warteschlange ist voll“ verlangen gegensätzliche Reaktionen, und auf einen Fehlertext kann man sich nicht verlassen. Jeder Anbieterfehler wird einer von acht Arten zugeordnet, und jede Art beantwortet zwei getrennte Fragen: Lohnt sich ein neuer Versuch hier, und lohnt sich ein anderer Weg?

Der Router folgt dann ein paar festen Regeln:

  • das Modell, das die Szene nennt, kommt immer zuerst. Ein Modell ist ein Look, keine Massenware
  • ein Ausweichweg rettet einen Film bei einem Ausfall; er wird nur genutzt, wenn der genannte Weg gar nicht laufen kann, und der Eintrag hält fest, welcher Weg lief
  • eine Ablehnung wegen des Inhalts wird nirgends wiederholt, denn sie woanders hinzuschicken, würde den Film still verändern

Auch das Abfragen ist gestaltet. Ein Clip braucht zwischen dreißig Sekunden und vier Minuten, also wächst der Abstand zwischen den Abfragen, ist begrenzt und trägt eine kleine deterministische Streuung, damit mehrere gleichzeitig erzeugte Szenen nie im Gleichtakt abfragen.

Ein Clip so lang wie seine Einstellung, dauerhaft gespeichert

Über dem Router sitzt ein Dienst mit fester Abfolge: anbieten, leiten, senden, abfragen, speichern, festhalten. Er hält drei Versprechen. Er berechnet nie mehr als angeboten; überzieht ein Modell oder kostet ein Ausweichweg mehr, tragen wir den Unterschied. Er wiederholt nie eine Ablehnung wegen des Inhalts. Und er gibt nie den Link eines Anbieters zurück, weil manche ihre Dateien nur für einen Tag signieren: Jeder Clip wird in unseren eigenen Speicher kopiert, damit ein Film nächstes Jahr genauso läuft wie heute.

Der letzte Schritt passte die Clips an ihre Szenen an. Jeder Clip wird jetzt von seiner Einstellung aus geplant: so lang wie der Sprechertext plus ein Atemzug, mindestens in 720p, wenn er das Bild füllt, und mit den Referenzbildern der benannten Figur, damit dasselbe Gesicht durch den Film führt.

Generierte Clips in echten Filmen siehst du auf der Seite zu KI-Clips, die Tarife, die sie enthalten, auf der Preisseite.

Sieh es auf deiner eigenen Website

Füge eine Seite ein und bekomme das vertonte Video, um das es in diesem Blog geht. Das erste ist kostenlos.

Erstes Video gratis · keine Kreditkarte · in Minuten fertig

← Alle Artikel