Untertitel, die dem Sprecher zuhören

Wir lesen schneller, als eine Stimme spricht, also ist das leuchtende Wort ein Versprechen: Das ist das Wort, das du gerade hörst. Wird es gehalten, gehören die Untertitel zur Stimme. Wird es um eine halbe Sekunde verfehlt, wirkt der Film leicht mechanisch, auch wenn niemand sagen kann, warum.

Früher am selben Tag hatten wir die Szenenwechsel auf die echten Pausen der Stimme gelegt. Die nächste Frage war feiner: Leuchtet innerhalb einer Szene jedes Wort auf, wenn es gesprochen wird?

Synchronität nach Augenmaß zu beurteilen ist unzuverlässig, also haben wir gemessen. Wir haben die Tonspur eines Films mit einer unabhängigen Spracherkennung transkribiert und den echten Beginn jedes Worts mit der Zeit verglichen, die ihm unsere Untertitel gaben.

Die Zahlen waren deutlicher als das Auge: 83 von 227 Wörtern lagen mehr als eine halbe Sekunde neben ihrer Aussprache, im Schnitt 0,57 Sekunden zu früh. Die Ursache war ein Hinweis, den wir zur Hilfe eingebaut hatten: Wortzeiten aus der Ausrichtung eines Sprachmodells. Diese Ausrichtung neigte zur Verfrühung, und der Hinweis gab diese Neigung an jedes Wort weiter.

Die erste Verbesserung war also ein Weglassen. Wörter allein nach den echten Sprechpassagen und der Zeichensetzung zu platzieren, auf denselben Szenengrenzen, brachte diese Wörter von 83 auf 3, keines mehr als eine Sekunde daneben.

Das Voice-over ist eine durchgehende Aufnahme für das ganze Skript: Es behält seinen natürlichen Rhythmus, verrät aber nicht, wo die Wörter jeder Szene beginnen. Der Schritt, der Szenen auf Pausen einrasten lässt, braucht nur eine grobe Startschätzung, auf eine Sekunde genau. Die bekommen wir jetzt durch Zuhören, mit Whisper direkt im Render-Worker:

• ein kompaktes Whisper-Modell mit Wort-Zeitstempeln läuft auf dem Prozessor, seine Gewichte sind ins Server-Image eingebaut, ohne Aufruf eines externen Dienstes;
• gehörte Wörter werden der Reihe nach dem Skript zugeordnet, sodass ein falsch verstandener Name oder eine ausgeschriebene Zahl einfach ohne Partner bleibt, statt die Nachbarn zu verschieben;
• Whisper datiert ein Wort nach einer Stille zu spät, deshalb werden seine Zeiten nie als Untertitelzeiten verwendet; die Schätzung einer Szene ist der Beginn der Sprechpassage, in der ihr erstes gehörtes Wort liegt;
• wird weniger als die Hälfte der Wörter gehört, springt die bisherige Ausrichtung als Rückfall ein.

Das kostet etwa 33 Sekunden Prozessorzeit für 130 Sekunden Audio. Das kleinste Modell haben wir zuerst probiert und verworfen: Eine Szene lag sieben Sekunden daneben. Der Image-Build führt das Modell außerdem einmal auf Stille aus, damit es sich vor jedem Rendering bewährt hat.

Das Timing war die halbe Geschichte. Die andere Hälfte war, wie Wörter auf dem Bildschirm gruppiert werden. Untertitelzeilen wechselten alle fünf Wörter, egal was der Satz tat, und das liest sich wie eine Maschine.

Jetzt werden die Wörter jeder Szene an Satzenden und an den Pausen der Stimme in Zeilen geschnitten: an jeder Lücke zwischen zwei Wörtern, die deutlich länger ist, als das Wort dauern sollte. Ein einzelnes Wort schließt sich seinem Nachbarn an, und alles über fünf Wörter wird in ausgewogene Stücke geteilt. Eine Zeile, die beim Atemholen wechselt, liest sich wie echte Untertitelung.

Ein Standbild zeigte ein letztes kleines Detail: Das leuchtende Wort wuchs so stark, dass es kurz das Ende des vorigen Worts verdeckte. Wir haben den Effekt abgeschwächt und das leuchtende Wort über die Zeile gelegt.

Im geprüften Film lagen am Ende 3 von 227 Wörtern mehr als eine halbe Sekunde daneben und keines über eine Sekunde. Sechs Bilder an echten Sprechanfängen zeigten das leuchtende Wort auf dem gerade gesprochenen Wort.

Wer einen Film macht, merkt an den Schritten nichts; die Untertitel sitzen einfach auf der Stimme. Für uns bleiben zwei Lehren. Ein hilfreich klingender Hinweis kann genau das sein, was schadet, und nur eine unabhängige Messung zeigt es. Und eine Spracherkennung sagt hervorragend, welche Wörter gehört wurden und wo Sprache beginnt, datiert ein Wort nach einer Stille aber weniger genau, also geben wir ihr nur die erste Aufgabe.

Sieh dir die Untertitel in jedem Film der Galerie an, oder lies auf der Funktionsseite, wie sie in einen Film passen.