Filme, in denen die Figuren selbst sprechen
· 4 Min. Lesezeit
Sobald KI-Clips sprechen konnten, wurde eine neue Art Film möglich: kein Off-Sprecher, nur Menschen im Bild, die ihren Text sagen. Eine Gründerin, die in die Kamera spricht, eine kurze Szene, die atmet, eine Geschichte, die ihre Figuren erzählen. Am 25. September haben wir PageToVid beigebracht, solche Filme richtig zu machen, und dafür mussten wir die eine Annahme überdenken, auf der unser ganzes Timing beruhte: dass jeder Film einen Sprecher hat.
Eine einzige Sprachspur gibt den Takt vor
In PageToVid ist die Länge einer Szene ihr Abschnitt einer einzigen Sprachspur. Wir erzeugen die gesamte Sprechstimme in einem Durchgang, finden darin die Nahtstellen zwischen den Szenen, und jede Szene dauert genau so lange wie ihr Teil der Stimme. Das hält Untertitel und Bild synchron: Bild und Stimme sind eine einzige Aufteilung und können nicht auseinanderlaufen.
Es bedeutet aber auch, dass man eine Szene nicht einfach verlängern kann. Um ein Bild sechs Sekunden still zu halten, müssen sechs Sekunden Stille an der Naht dieser Szene in die Spur eingefügt werden. Ein Schritt, den wir Füllplan nennen, erledigt genau das, mit zwei Aufgaben:
- eine gesprochene Szene korrigieren, die vor ihren eigenen Worten enden würde, was davon abhängt, zu messen, wo die Worte liegen
- die geschriebene Dauer einer stillen Szene einhalten, eine Zahl, die jemand eingetippt hat und die von keiner Messung abhängt
Ein Film ohne Sprecher lebt fast ganz von der zweiten Aufgabe. Also haben wir dort angefangen.
Eine gehaltene Einstellung behält ihre Länge
Unser erster Testfilm bestand aus sprechenden Clips, mit zwei Szenen, die sechs und fünf Sekunden halten sollten. Sie kamen deutlich kürzer heraus. Das Auffüllen lief nur, wenn die Spracherkennung gemessen hatte, wo Worte zu hören waren; in einem Film fast ohne Sprecher hatte sie kaum etwas gemessen, und die geschriebenen Längen fielen zusammen mit den Korrekturen weg.
Ob eine Einstellung so lange hält wie verlangt, darf nie davon abhängen, wie gut die Erkennung eine andere Szene gehört hat. Der Füllplan läuft jetzt für eine Messung oder für eine geschriebene stille Dauer, jeweils nach eigenen Regeln.
Ein weiterer Fall machte die Eröffnungseinstellung vollständig. Unser Schnittwerkzeug schneidet nie in ein Wort, zu Recht, und es konnte Stille am Ende der Spur einfügen, aber nicht am Anfang. Stille vor der ersten Silbe schneidet in nichts; sie verschiebt einfach die ganze Spur um genau das, was die Szene gewinnt. Damit hält die Eröffnung ihre vollen sechs Sekunden.
Wer spricht, ist am lautesten
Wenn eine Szene gesprochen wird, wird der eigene Ton eines Clips zu einem leisen Bett unter dem Sprecher abgesenkt, damit die Stimme immer klar bleibt. Der Renderer entschied, ob eine Szene gesprochen war, indem er prüfte, ob sie einen Abschnitt der erzeugten Spur hatte.
Ein Film ohne Sprecher erzeugte aber trotzdem eine Spur: Mit null Wörtern lieferte die Sprachsynthese ein Stück Stille, und jede Szene wirkte gesprochen. Die Person, die in die Kamera sprach, lag leise unter einer Stimme, die es nicht gab. Sprechertext ist Text, kein Signal, also stellt die Prüfung jetzt die einfache Frage: Hat diese Szene Worte? Wenn nicht, führt die Stimme des Clips, in voller Lautstärke.
Dieselben Filme wurden an zwei kleineren Stellen besser. Karten bekommen jetzt in jeder Art von Szene einen echten Hintergrund, nicht nur bei Bildschirmaufnahmen, und die Untertiteldatei enthält keine leeren Einträge mehr, die manche Player als leere Kästen zeigen.
Keine Worte, exaktes Timing
Ein Film nur aus Einstellungen ohne Sprecher warf die letzte Frage auf: Was heißt Timing, wenn es nichts zu timen gibt? Eine leere Spur als unbekannt zu behandeln, ließ die geschriebenen Längen fallen; erzeugte Stille wie Sprache aufzuteilen, dehnte eine Szene weit über ihre Länge hinaus.
Die Antwort ist eine Regel, kein Flicken. Ein Film ohne Worte wird genau so gehalten, wie er geschrieben ist. Es gibt nichts zu messen und nichts aufzuteilen, also dauert jede Szene die Zahl, die auf ihr steht, auf das Einzelbild genau.
Außerdem haben wir Stille zu einer vollwertigen Wahl für Assistenten und Entwickler gemacht. Über unseren MCP-Server kann eine gefilmte Szene jetzt einen leeren Sprechertext haben, also still sein und ihre ganze Dauer halten. Vorher brauchte man dafür ein einzelnes Leerzeichen.
Was du jetzt machen kannst
Zusammen machen diese Änderungen den Sprecher zur Option statt zur Pflicht. Ein Film kann jetzt sein:
- eine Folge von Figuren, die ihren eigenen Text sprechen, jede Einstellung so gehalten wie geschrieben
- eine Mischung, mit einer gesprochenen Tour und mittendrin einem sprechenden Clip in voller Lautstärke
- eine wortlose Folge aus Einstellungen und Karten, auf die Sekunde getimt
Im Editor läuft die Live-Vorschau eines generierten Clips stumm, weil Browser Videos mit Ton oft nicht automatisch abspielen. Der Film, den du herunterlädst, behält jedes Wort der Figuren.
Was generierte Clips einem Film bringen, siehst du auf der Seite zu KI-Clips, oder du startest mit deinen eigenen Szenen in einem neuen Film.
Sieh es auf deiner eigenen Website
Füge eine Seite ein und bekomme das vertonte Video, um das es in diesem Blog geht. Das erste ist kostenlos.
Weiterlesen
