Bild und Ton werden ein Clip

Worum es geht

Bis hierher hast du Bilder deiner Figur und eine Stimme, die jeden Text spricht. Jetzt kommt beides zusammen: Ein Videomodell nimmt das Startbild als ersten Moment und lässt die Figur zur Tonspur sprechen – Lippen, Kopf, Blinzeln, Hände. Der Text steckt nur im Ton; das Modell hört zu und bewegt den Mund passend dazu.

Das Werkzeug dafür heißt InfiniteTalk. Es ist eine Erweiterung für das offene Videomodell Wan 2.1 und läuft direkt in ComfyUI. „Infinite“ heißt es, weil es nicht bei wenigen Sekunden aufhört: Es erzeugt das Video in Abschnitten und setzt sie nahtlos aneinander, so lang wie der Ton.

Was vorher passiert ist

In Lektion A4 ist das Startbild entstanden: Hochformat 768 × 1344, Brustbild, Blick in die Kamera, Mund geschlossen. In Lektion A5 hat die Figur ihre Stimme bekommen; sprechen.py hat einen Satz gesprochen und vorn und hinten je eine Sekunde Stille angehängt. Beides zusammen ist alles, was InfiniteTalk braucht.

Der Ablauf

1. Einmal die Modelle holen

InfiniteTalk braucht sechs Dateien, zusammen rund 28 GB: das Videomodell Wan 2.1 (Image-to-Video, 14 Milliarden Parameter, in 8 Bit), ein LoRA, das die Berechnung auf 6 Schritte verkürzt, einen Textencoder, den VAE, die InfiniteTalk-Erweiterung selbst und einen Audio-Encoder, der aus dem Ton herausliest, welche Laute gerade kommen. skripte/einrichten/sprechclip.py lädt sie nach modelle/ und verlinkt sie in ComfyUI. Zum Schluss prüft es, ob die laufende ComfyUI-Version InfiniteTalk kennt.

2. Die Länge aus dem Ton

Das Video hat 25 Bilder pro Sekunde und ist genau so lang wie die Tonspur. InfiniteTalk rechnet in Abschnitten zu je 81 Bildern. Jeder weitere Abschnitt übernimmt die letzten 9 Bilder des vorigen als Bewegungsvorlage, damit die Übergänge nicht springen. Für den Clip der Startseite:

11,6 s Ton × 25 Bilder/s → 290 Bilder in 4 Abschnitten zu je 81 (Überlappung 9)

3. Ein Auftrag an ComfyUI

sprechclip.py legt Startbild und Ton in den Clip-Ordner, kopiert beide in den Eingabeordner von ComfyUI, gibt den Grafikspeicher frei und schreibt dann einen einzigen Auftrag (auftrag_sprechclip.json): alle Abschnitte hintereinander, am Ende zu einem Video mit Ton verbunden. Diesen Auftrag schickt comfy.py ab, wartet und holt clip.mp4 ab. Auf einer RTX 3090 dauert das gut eine Minute je Sekunde Video.

# 1. Einmalig: die Modelle für InfiniteTalk (rund 28 GB)
python3 skripte/einrichten/sprechclip.py -v

# 2. Der Clip: Startbild aus A4, Tonspur aus A5 – rund eine Minute Rechenzeit je Sekunde Video
python3 skripte/sprechclip.py szenen/pult.png clips/probe/stimme.wav --name probe -v

# 3. Ansehen und prüfen
mpv clips/probe/clip.mp4
python3 skripte/pruefen.py A6

# 11.6 s Ton × 25 Bilder/s → 290 Bilder in 4 Abschnitten zu je 81 (Überlappung 9)
# Startbild und Tonspur in den Clip-Ordner
▸ mkdir -p clips/probe
▸ cp szenen/pult.png clips/probe/startbild.png
# Eingaben für ComfyUI bereitlegen
▸ cp clips/probe/startbild.png werkzeuge/ComfyUI/input/sprechclip_probe.png
▸ cp clips/probe/stimme.wav werkzeuge/ComfyUI/input/sprechclip_probe.wav
# Grafikspeicher freigeben – das Videomodell braucht die ganze Karte
▸ python3 skripte/werkzeuge/comfy.py frei
# Der ComfyUI-Auftrag: InfiniteTalk in Abschnitten, dann Video mit Ton
▸ cat > clips/probe/auftrag_sprechclip.json <<'EOF'
{ "unet": { "class_type": "UNETLoader", … }, … }
EOF
# Senden, warten (auf einer RTX 3090 gut eine Minute je Sekunde Video), Ergebnis holen
▸ python3 skripte/werkzeuge/comfy.py ausfuehren clips/probe/auftrag_sprechclip.json --ziel clips/probe/clip.mp4

Entscheidungen

Fallstricke

Mach aus szenen/pult.png und clips/probe/stimme.wav einen Sprech-Clip
und zeig mir fünf Einzelbilder daraus.