Dein KI-Assistent dreht das Video jetzt selbst

Die erste Version hatte vier Werkzeuge: ein Video erstellen, ein Video abrufen, seinen Einbettungscode holen und die Optionen auflisten. Das klingt nach wenig. Die Sorgfalt steckte darin, sie für einen Leser zu schreiben, der keine Rückfrage stellen kann.

Jedes Werkzeug sagt klar, ob es nur liest, ob es etwas ändert und ob ein doppelter Aufruf doppelt rendern würde, damit die App des Assistenten dich im richtigen Moment um Erlaubnis bittet. Zwei Dinge, die unser Webformular still erledigt hatte, wurden ausdrücklich:

• das Briefing, bis zu 2.000 Zeichen, die der Planer als maßgeblich behandelt, so gelangt „fang mit dem Launch-Angebot an, Zielgruppe sind CTOs“ ins Skript
• die Sprache, eine feste Liste der sieben Sprachen, die wir nach einem Rendering prüfen können, statt eines freien Feldes

Fehlermeldungen sind so geschrieben, dass man handeln kann. Eine Seite, die mit 404 antwortet, sagt das, und sagt, dass nichts ausgegeben wurde. Eine unbekannte Stimme verweist auf das Werkzeug, das die echten auflistet.

Ein Entwickler kann einem Assistenten einen API-Schlüssel geben. Ein gehosteter Assistent im Browser kann keinen einfügen; er muss dich anmelden, wie jede App, die „Konto verbinden“ anbietet. Dafür muss er selbst herausfinden, wo und wie die Anmeldung funktioniert.

Also haben wir am selben Tag eine standardkonforme OAuth-2.1-Anmeldung für den Server gebaut:

• den Autorisierungscode-Ablauf mit PKCE, bei dem nur die starke Methode akzeptiert wird
• dynamische Registrierung, damit sich ein neuer Assistent ohne manuelle Einrichtung vorstellt
• Tokens, die nur für unseren Server gelten, mit Erneuerung und Widerruf
• einen Zustimmungsbildschirm in vier Sprachen, der klar zeigt, welche Berechtigung von deinem Guthaben ausgeben darf

Du klickst auf Verbinden, stimmst zu, und der Assistent kann für dich arbeiten. Ein Widerruf wirkt sofort.

Dann haben wir den Server über einen echten Assistenten gesteuert und beobachtet, was das Modell sieht. Die Lehre war einfach und wichtig: Die Apps geben dem Modell den lesbaren Text eines Ergebnisses weiter und ignorieren den strukturierten Teil womöglich ganz. Eine Zusammenfassung wie „12 Stimmen“ nützt einem Modell nichts, das die Kennung einer Stimme braucht, um sie zu wählen.

Deshalb beginnt jedes Ergebnis jetzt mit lesbarem Text, der alles Nötige zum Handeln enthält, jede Stimme, jede Musik, jede Sprache und jedes Ziel, dann dieselben Daten als kompaktes JSON, dann der strukturierte Inhalt. Ein Test baut diesen Text und prüft, dass jede Kennung darin steht, damit sich keine Zusammenfassung zurückschleicht. Das Einbettungswerkzeug liefert jetzt den Code selbst.

Auch die Prüfungen sind nach vorn gerückt. Eine Adresse, die der Rekorder nicht öffnen kann, wird abgelehnt, bevor irgendeine Arbeit beginnt, und jeder Fehler trägt einen Code, auf den ein Client reagieren kann, sowie einen Hinweis, ob etwas berechnet wurde.

Danach kam das Lesen: das Konto, die Liste der Videos und das Storyboard, das beschreibt, was jede Szene zeigt und wie sie sich bewegt. Dann die Hälfte, die einen Assistenten wirklich nützlich macht. Bearbeiten kann den Sprechertext umschreiben, eine Bildunterschrift setzen, Szenen kürzen, entfernen oder umstellen und Stimme oder Musik wechseln, und ein neues Rendering macht aus dem bearbeiteten Storyboard einen neuen Film.

Bearbeiten verändert deine Arbeit, deshalb gibt es Leitplanken:

1. 1jede Änderung speichert zuerst einen Schnappschuss in dieselbe Versionsgeschichte, die auch der Web-Editor nutzt, jede Änderung lässt sich also rückgängig machen
2. 2ein Stapel von Änderungen wird vollständig geprüft, bevor etwas geschrieben wird; ein halb angewendeter Stapel ist schlimmer als ein abgelehnter
3. 3Änderungen warten, solange ein Rendering läuft

Das neue Rendering geht exakt denselben Weg wie der Web-Editor, die beiden können sich also nie über die Kosten eines Films uneinig sein. Und eine wiederholte Anfrage mit demselben Idempotenzschlüssel, aber anderen Einstellungen wird abgelehnt, mit jedem abweichenden Feld benannt.

Der Assistent, mit dem du ohnehin arbeitest, kann jetzt von einer Idee zu einem fertigen, gesprochenen Film deiner echten Website gehen und ihn im selben Gespräch mit dir verfeinern. „Kürze die zweite Szene und nimm eine wärmere Stimme“ ist jetzt ein Satz, kein Ausflug in einen Editor.

Wie du deinen eigenen Assistenten verbindest, steht auf unserer Assistentenseite, die vollständige Werkzeugreferenz auf der Entwicklerseite.