Des sous-titres qui écoutent le narrateur

On lit plus vite qu’un narrateur ne parle : le mot allumé est donc une promesse, celle du mot que vous entendez maintenant. Tenez-la, et les sous-titres font corps avec la voix. Manquez-la d’une demi-seconde, et le film paraît un peu mécanique, même à qui ne saurait pas dire pourquoi.

Plus tôt dans la journée, nous avions calé les changements de scène sur les vraies pauses du narrateur. La question suivante était plus fine : à l’intérieur d’une scène, chaque mot s’allume-t-il quand il est prononcé ?

Juger la synchronisation à l’œil est peu fiable, alors nous avons mesuré. Nous avons transcrit la piste de voix d’un film avec un moteur de reconnaissance indépendant et comparé le vrai début de chaque mot au temps que lui donnaient nos sous-titres.

Les chiffres étaient plus nets que l’œil : 83 mots sur 227 tombaient à plus d’une demi-seconde de leur prononciation, en moyenne 0,57 seconde trop tôt. La cause était un indice ajouté pour aider, les temps de mots d’un alignement par modèle de langage. Cet alignement penchait vers l’avance, et l’indice transmettait ce penchant à chaque mot.

La première amélioration a donc été un retrait. En plaçant les mots selon les passages réellement parlés et la ponctuation seuls, sur les mêmes frontières de scène, ces mots sont passés de 83 à 3, aucun au-delà d’une seconde.

La voix off est une prise continue pour tout le script : elle garde son rythme naturel, mais ne dit rien de l’endroit où commencent les mots de chaque scène. L’étape qui cale les scènes sur les pauses n’a besoin que d’une estimation de départ, à une seconde près. Nous l’obtenons désormais en écoutant, avec Whisper qui tourne dans le worker de rendu lui-même :

• un modèle Whisper compact, avec horodatage des mots, tourne sur le processeur, ses poids intégrés à l’image serveur, sans appel à un service extérieur ;
• les mots entendus sont rapprochés du script dans l’ordre : un nom mal compris ou un nombre lu en toutes lettres reste simplement sans correspondance au lieu de décaler ses voisins ;
• Whisper date un mot trop tard après un silence, donc ses temps ne servent jamais de temps de sous-titre ; l’estimation d’une scène est le début du passage parlé où se trouve son premier mot entendu ;
• si moins de la moitié des mots est entendue, l’ancien alignement prend le relais.

Il faut environ 33 secondes de processeur pour 130 secondes d’audio. Nous avons d’abord essayé le plus petit modèle et l’avons écarté : une scène en sortait décalée de sept secondes. La construction de l’image exécute aussi le modèle une fois sur du silence, pour qu’il ait fait ses preuves avant tout rendu.

Le calage n’était que la moitié de l’histoire. L’autre moitié, c’est la façon dont les mots se groupent à l’écran. Les lignes changeaient tous les cinq mots, quoi que fasse la phrase, et cela se lit comme une machine.

Désormais, les mots de chaque scène sont coupés en lignes aux points et aux pauses du narrateur : tout écart entre deux mots nettement plus long que ce que le mot devrait prendre. Un mot isolé rejoint son voisin, et tout ce qui dépasse cinq mots est partagé en morceaux équilibrés. Une ligne qui change sur une respiration se lit comme un vrai sous-titrage.

Une image fixe a révélé un dernier petit détail : le mot allumé grossissait au point de couvrir brièvement la fin du mot précédent. Nous avons adouci l’effet et dessiné le mot allumé au-dessus de la ligne.

Sur le film vérifié, 3 mots sur 227 restaient à plus d’une demi-seconde, aucun au-delà d’une seconde. Six images prises à de vrais débuts de parole montraient le mot allumé sur le mot prononcé.

Pour qui fait un film, rien ne change dans les étapes ; les sous-titres se posent simplement sur la voix. Pour nous, deux leçons restent. Un indice qui semble utile peut être justement ce qui nuit, et seule une mesure indépendante le montre. Et une reconnaissance vocale excelle à dire quels mots ont été entendus et où commence la parole, beaucoup moins à dater précisément un mot après un silence : nous ne lui confions que la première tâche.

Voyez les sous-titres sur n’importe quel film de la galerie, ou lisez leur place dans un film sur la page des fonctionnalités.