Untertitel, die der Stimme aufs Wort folgen

Wir lesen schneller, als eine Stimme spricht, also geben Untertitel den Takt eines Films vor. Hinkt die Zeile der Stimme hinterher, wirkt der ganze Film leicht aus dem Tritt. Wechselt sie, während die Stimme den Satz noch beendet, wirkt es wie ein Fehler.

Unsere Wortzeiten kamen von einem Sprachmodell, das die Tonspur anhörte. Das ist nah dran und überall ein bisschen falsch: Bei einem echten Film kamen seine Wörter 157 ms zu spät und um 0,8 % gestreckt. Das Zeitgefühl eines Modells ist eine Schätzung. Die Aufnahme ist eine Messung. Alles Weitere folgt aus diesem Gedanken.

Den ersten und den letzten Moment Sprache über dem Grundrauschen findet man direkt im Audio. Wir legen die Spanne des Modells jetzt auf diese gemessene Spanne, was eine konstante Verzögerung und eine Streckung in einem Schritt korrigiert. Eine Korrektur außerhalb eines vernünftigen Bereichs wird abgelehnt statt angewendet.

Auch der Moment, in dem ein Untertitel erscheint, ist neu. In der Untertitelung darf eine Zeile dem Ton vorausgehen, nie folgen: Eine Zeile, die genau mit dem Wort kommt, wirkt schon verspätet. Jeder Untertitel erscheint jetzt 120 ms vor seinem ersten Wort, und die Hervorhebung landet weiter genau auf dem Wort.

Ein PageToVid-Voice-over ist eine einzige durchgehende Spur. Sie beginnt nach der Intro-Karte und wird nie geschnitten. Damit ist die Länge jeder Szene ein Versprechen an den ganzen Film: Eine gesprochene Szene muss genau so lange dauern wie ihr Stück der Spur, denn die Stimme läuft weiter, ob das Bild mitkommt oder nicht. Kleine Abweichungen heben sich nicht auf. Sie summieren sich.

Also entscheidet jetzt das Audio. Die Segmente des Sprachsynthesizers ergeben zusammen exakt die erzeugte Spur, und die Szenenlängen werden daraus genommen, ob die Feinabstimmung geklappt hat oder nicht. Mindestdauern gibt es weiterhin, aber nur für stumme Szenen, in denen es keiner Stimme zu folgen gilt.

Hör einer beliebigen Sprecherin zu: ein kurzer Atemzug zwischen Sätzen, eine längere Pause zwischen Gedanken. Bei einem 92-Sekunden-Film auf Französisch haben wir an jedem Szenenwechsel Pausen von 0,6 bis 0,8 Sekunden gemessen. Genau dort sollen die Untertitel umblättern.

Die Ausrichtung des Modells ist nur noch eine erste Schätzung. Jeder Szenenbeginn rastet auf einer echten Pause der Spur ein, und ein paar Regeln machen das verlässlich:

• sichere Treffer zeigen, wie weit die Schätzung insgesamt danebenlag, und der zweite Durchgang zieht diesen Versatz ab;
• in einem Film mit n Szenen sind die n−1 längsten Pausen die Szenenwechsel, also schlägt eine lange Absatzpause einen kurzen Atemzug, der zufällig näher an der Schätzung liegt;
• ein kleines dynamisches Programm ordnet die Grenzen der Reihe nach den Pausen zu und traut einer langen Pause auf größere Entfernung als einer kurzen.

Innerhalb einer Szene wurden Wörter nach ihrer Buchstabenzahl verteilt. Bei Zahlen scheitert das: „1976“ sind vier Zeichen auf dem Bildschirm und viel mehr Silben gesprochen, also lief alles danach zu früh. Ein Sprechkostenmodell gewichtet jetzt Ziffern, Abkürzungen, Prozent- und Währungszeichen, und die Wörter werden Satzstück für Satzstück innerhalb jeder tatsächlich gesprochenen Passage platziert.

Geprüft haben wir das an einer unabhängigen Transkription mit Zeitstempeln pro Wort. Im gemessenen Film sank die Zahl der Wörter, die mehr als eine halbe Sekunde neben ihrem gesprochenen Beginn lagen, von 21 von 227 auf 3, keines über eine Sekunde, und die schwierigste Szenengrenze ging von 2,9 Sekunden Abweichung auf 0,02.

Besseres Timing für neue Filme hilft den Filmen nicht, die du schon heruntergeladen hast. Deshalb gibt es jetzt ein Rendering nur für Untertitel. Es liest die Tonspur des Films zurück, behält jede Aufnahme, nimmt nichts neu auf und ändert kein Wort; es stimmt die Untertitel neu ab und rendert. Der neue Film unterscheidet sich vom alten allein im Timing der Untertitel.

Es ist ein Knopf auf der Projektseite, „Untertitel neu synchronisieren“, unter den Download-Optionen, und die erste Neusynchronisierung nach jedem bezahlten Rendering ist kostenlos. Assistenten haben dieselbe Option, wenn sie einen Film neu rendern. Wie Untertitel sich in einen Film einfügen, siehst du auf der Funktionsseite.