El problema no era el modelo, sino una frase
· 4 min de lectura
Los storyboards que escribía un asistente a través de nuestro servidor MCP se leían mejor que los de nuestro propio proceso. La explicación obvia era el modelo, y el arreglo obvio, uno más nuevo y más grande. Antes de cambiar nada construimos un banco de pruebas, y señaló algo mucho más útil: una sola frase de nuestras instrucciones. Ese mismo fin de semana, cada afirmación de un guion pasó a tener un origen registrado.
Un solo modelo para todo, elegido una vez
Cada etapa de texto de nuestro proceso, desde leer la página hasta planificar, revisar y corregir, funcionaba con un solo modelo: Gemini 2.5 Flash. Se eligió cuando era el más nuevo y nunca se revisó, aunque ya había nuevas generaciones Flash y dos modelos Pro a nuestro alcance.
Así que la pregunta era justa: ¿la diferencia entre el storyboard de un asistente y el nuestro era solo el modelo? La respuesta tentadora era subir de versión y publicar. En su lugar construimos un banco que ejecuta el planificador real, con el prompt real, sobre la misma página con varios modelos, y puntúa cada resultado con las mismas comprobaciones con que se juzga un vídeo en producción.
Lo que dijo el banco de pruebas
La primera ronda no estuvo reñida, y no en el sentido que esperábamos:
- Gemini 2.5 Flash: 80, un error, un 14 % por debajo del presupuesto de palabras
- Gemini 2.5 Pro: 72, dos errores, un 66 % por debajo
- una versión preliminar 3.1 Pro: 52, tres errores
- una versión preliminar de Flash más reciente: 44, cuatro errores
El modelo Pro escribió tres escenas y veinticinco palabras para un encargo de cuarenta y cinco segundos, dos veces. Con un presupuesto de palabras firme, un modelo más grande no es automáticamente un mejor director. Un cambio de versión hecho a ciegas habría dado a cada vídeo un guion más corto y más plano.
El banco mide el primer borrador, antes de que nuestra revisión repare una parte, así que estas notas son un suelo y no el vídeo terminado. Un suelo basta para comparar modelos con justicia.
Todos los modelos seguían la misma frase
Lo más interesante fue lo que los modelos tenían en común. Todos se quedaron por debajo del presupuesto de palabras, un 8, un 14, un 24 y un 66 %. Cuatro modelos que fallan igual no son un problema de modelo; son cuatro modelos siguiendo la instrucción que recibieron.
Esa instrucción decía que el guion «debe tener N palabras o menos», y cada razón que daba apuntaba en la misma dirección: escribe más y el vídeo se alargará. Nada nombraba un mínimo. El reintento solo saltaba por debajo del 85 % del presupuesto, mientras nuestras comprobaciones juzgaban el resultado con un margen de más o menos un 10 %. Un modelo perfectamente obediente escribía holgadamente por debajo y luego lo señalaba una regla que nunca había visto.
Así que nombramos la franja: apunta a N, no menos de 0,92 N, no más de 1,05 N, y quedarse corto es el error habitual. El reintento usa ahora exactamente esa franja. Mismo modelo, misma página, tres rondas: 88, 84 y 96, con la duración dentro de un 3 %.
El modelo adecuado para cada etapa, elegido midiendo
El modelo por defecto se quedó donde estaba. Lo que salió es la forma de cambiarlo con seguridad. El ajuste único se convirtió en cuatro, uno por tipo de trabajo:
- tareas mecánicas, como el idioma y la alineación
- leer la página, la única etapa que mira una captura de pantalla
- escribir el storyboard
- revisarlo y corregirlo
Cada uno se lee en el momento en que se usa, así que el banco dirige el camino real del código y no una copia, y una etapa puede cambiar sin tocar las demás. Cada uno vuelve al de arriba si falta. La regla escrita junto a ellos es corta: nunca cambies de modelo por su número de versión; pasa cada candidato por el banco al menos tres veces y compara.
Cada afirmación sabe de dónde viene
El día antes habíamos reforzado otra cosa en los mismos guiones. Un storyboard es un conjunto de afirmaciones sobre el producto de alguien, dichas sobre imágenes de su propia web. La frase que más importa es la que suena verdadera y no lo es, como una certificación que la empresa no tiene. Un recuento de palabras no puede verla, ni tampoco una comprobación de los fotogramas o del idioma.
Así que cada afirmación lleva ahora su origen:
- la página, o lo que leímos de ella
- el encargo que escribió el cliente, que es suyo afirmar
- ninguna parte
Un nombre que no viene de ninguna parte detiene el render para una revisión de supervisión, y el registro completo se guarda para cada vídeo, así que «ningún problema encontrado» significa comprobado, no omitido. El detector es estrecho a propósito, y la mayoría de sus tests son casos que no deben saltar: el alemán escribe con mayúscula todos los sustantivos, así que tomar una mayúscula por un nombre señalaría cada frase en alemán. Puedes ver cómo estas comprobaciones dan forma a nuestros vídeos en nuestra página de diferencias.
Míralo en tu propia web
Pega una página y obtén el vídeo narrado del que habla este blog. El primero es gratis.
Sigue leyendo
