Untertitel automatisch erstellen, synchron zur Stimme

Die meisten Tools für automatische Untertitel hören sich ein fertiges Video an und raten die Wörter. Das ist der einzige Weg, wenn das Material schon existiert: ein Webinar, ein Interview, ein Handyvideo. Gibt es das Video noch nicht, geht es besser: erst der Text, dann die Stimme, zuletzt die Untertitel.

YouTube schreibt es in der eigenen Hilfe: Automatische Untertitel können das Gesagte durch falsche Aussprache, Akzente, Dialekte oder Hintergrundgeräusche verfälschen, und du solltest sie immer prüfen. Untertitel aus dem Skript sparen dir diese Wortkontrolle. Den Unterschied zwischen Untertiteln und Closed Captions, eingebrannt oder zuschaltbar, erklärt Untertitel und Closed Captions; Tools, die von Text oder einer URL statt von Videomaterial ausgehen, findest du im Vergleich.

Die Sprecherstimme eines PageToVid-Films ist eine durchgehende Aufnahme, und jede Szene ist ein Abschnitt davon (siehe die Sprechzeit bestimmt die Länge). Ob Untertitel synchron wirken, entscheidet also vor allem, wo jede Szene in dieser Aufnahme beginnt.

Früher kamen diese Startpunkte aus einem Forced Alignment, einem Modell, das das Audio abhört. Bei einem französischen Film mit acht Szenen lag jede Grenze rund 1,6 Sekunden zu früh: Der Untertitel wechselte, während die Stimme noch den vorigen Satz beendete. Die Lösung lag in der Aufnahme selbst. Ein Sprecher macht die längsten Pausen zwischen Absätzen, und jede Szene ist ein Absatz. Ein Film mit acht Szenen hat seine sieben Grenzen also auf den sieben längsten Pausen, und jeder Szenenwechsel rastet auf der langen Pause ein, die seiner Schätzung am nächsten liegt.

Innerhalb einer Szene werden die Wörter in eine Gruppe pro Sprechabschnitt geteilt, möglichst an Satzzeichen, und nach Sprechdauer verteilt: Eine Ziffer kostet mehr als ein Buchstabe, weil „1976“ als vier Wörter gesprochen wird. Gemessen an einer Transkription dieses französischen Films lagen 3 von 227 Wörtern mehr als eine halbe Sekunde daneben; mit dem Alignment als zusätzlichem Faktor waren es 83.

Im Bild erscheinen die Wörter in Blöcken von höchstens fünf, und der Untertitel einer neuen Szene steht etwa 150 Millisekunden, bevor die Stimme wieder einsetzt: Das Auge hängt dem Ohr nie hinterher.

Der ganze Ablauf, von der URL bis zum untertitelten MP4 mit .vtt-Datei. Untertitel sind standardmäßig an und in jedem Tarif enthalten, auch im ersten kostenlosen Film einer Website.

Du brauchst denselben Film in weiteren Sprachen? Ein Übersetzungsauftrag erzeugt pro Sprache einen neuen Film, mit übersetzter, neu eingesprochener und neu untertitelter Sprecherstimme, bis zu 6 Sprachen auf einmal: siehe Video-Übersetzung und Videos in mehrere Sprachen lokalisieren.

Die „Visit Us“-Seite von Shifa Clinic bündelt, was Patienten wissen müssen: wo die Klinik liegt, die Sprechzeiten, die Gebühr und eine Telefonnummer für Termine. Daraus haben wir einen 50-Sekunden-Film auf Hindi gemacht, 107 gesprochene Wörter, 16:9.

Der erste Untertitel läuft von 1,50 s bis 3,87 s: „डॉक्टर के पास जाना मुश्किल है?“ („Ist der Weg zum Arzt mühsam?“). Die .vtt-Datei enthält zehn Untertitel, einen pro Szene: die Adresse nahe der Crescent Public School, die Zeiten am Vormittag und am Abend, die Telefonnummer, die Online-Buchung, die Beratung für ₹200 und der Aufruf zum Buchen. Der letzte endet bei 45,17 s; der Rest ist die Abschlusskarte, ohne Sprache zum Untertiteln.

Drei Dinge fallen auf:

• Jeder Untertitel ist gut lesbar. Alle zehn dauern 2,4 bis 6,1 Sekunden und bleiben unter den sieben Sekunden, die Netflix als Höchstdauer für einen Untertitel festlegt. Kurz hält sie die Regel „eine Idee pro Szene“.
• Der längste Untertitel ist die Telefonnummer. Nummer 6 hat sieben Wörter und dauert 6,1 Sekunden, weil eine elfstellige Nummer Ziffer für Ziffer gesprochen wird; genau deshalb zählt unser Timing eine Ziffer teurer als einen Buchstaben.
• Nichts wurde transliteriert. Die Untertitel stehen in Devanagari, weil der Sprechertext auf Hindi geschrieben wurde.

Der englische Film aus derselben Seite dauert 47 Sekunden, 85 Wörter, sieben Untertitel.

Weil der Untertiteltext der Sprechertext ist, gibt es nur drei Arten von Korrektur, jede mit eigenem Preis.

Alle Korrekturen Szene für Szene stehen in ein Video korrigieren, ohne es neu zu machen. Tarife und Render-Kosten findest du unter Preise.

• Zwei Einleitungssätze in einer Szene. Eine Szene ist ein Untertitel in der .vtt-Datei. Eine Szene mit Begrüßung und Zitat wird zu einem Zehn-Sekunden-Untertitel, zu lang, um ihn am Stück zu lesen.
• Sich im Social Feed auf die .vtt-Datei verlassen. Feeds spielen stumm ab, und kaum einer lädt eine separate Spur. Für Social Media bleiben die Untertitel eingebrannt; die .vtt-Datei ist für deinen Player und YouTube.
• Ein Markenname, den die Stimme falsch ausspricht. Korrigiere die Aussprache, nicht die Schreibweise: Ein verbogener Name hilft der Stimme und steht dann falsch im Bild.
• Eigene Texte im Untertitelband. Jede Motion-Graphic-Szene hält unten ein Band für die Untertitel frei; setz eigene Einblendungen darüber.