Neue Speech-to-Video-KI von Alibaba macht Porträts lebendig

Alibaba hat mit Wan2.2-S2V (Speech-to-Video) ein neues Open-Source-Modell vorgestellt. Die KI verwandelt einfache Porträtfotos in lebensechte Avatare, die sprechen, singen oder performen können – und erweitert damit die Wan2.2-Reihe zur Videogenerierung um eine weitere Schlüsseltechnologie.

Bereits aus einem einzigen Bild und einem Audioclip erzeugt das Modell hochwertige Animationen in verschiedenen Formaten – vom klassischen Porträt über Halbporträt bis hin zur Ganzkörperansicht. Bewegungen und Umgebungsdetails werden dynamisch anhand von Prompts generiert, sodass Content Creator präzise visuelle Ergebnisse für Storytelling und Designprojekte erzielen können.

Dank seiner audiogesteuerten Animationstechnologie liefert Wan2.2-S2V realistische Charakterdarstellungen – von natürlichem Dialog bis hin zu Gesangseinlagen. Auch mehrere Figuren lassen sich nahtlos in einer Szene kombinieren. Das Modell übersetzt Tonaufnahmen direkt in lebensechte Bewegungen und unterstützt dabei ein breites Spektrum an Avataren: Menschen, Tiere, Cartoons oder stilisierte Fantasiecharaktere.

Um unterschiedlichen Produktionsanforderungen gerecht zu werden, bietet die Technologie flexible Ausgabeauflösungen in 480p und 720p. Damit entstehen visuelle Ergebnisse, die sich sowohl für Social-Media-Inhalte als auch für professionelle Film- und TV-Produktionen eignen.

Technologische Neuerungen

Im Unterschied zu klassischen "Talking-Head"-Generatoren kombiniert Wan2.2-S2V eine textgesteuerte, globale Bewegungssteuerung mit audiobasierten, fein abgestuften lokalen Bewegungen. Das Ergebnis sind natürlichere und ausdrucksstärkere Animationen selbst in komplexen Szenen.

Ein wesentlicher Fortschritt ist die neue Frame-Verarbeitungstechnik: Frühere Videoframes beliebiger Länge werden in einer kompakten latenten Darstellung zusammengefasst. Dadurch sinkt der Rechenaufwand deutlich, während sich lange Videos stabil generieren lassen – ein Problem, an dem frühere Systeme häufig scheiterten.

Die erweiterten Fähigkeiten basieren auf einer umfassenden Trainingsmethodik. Alibabas Forschungsteam hat dafür einen groß angelegten audiovisuellen Datensatz entwickelt, der speziell auf Film- und TV-Produktionen zugeschnitten ist. Mit einem Multi-Resolution-Trainingsansatz ermöglicht Wan2.2-S2V die flexible Generierung von Videos in verschiedenen Formaten – von vertikalen Kurzvideos bis hin zu klassischen horizontalen Filmproduktionen.

Verfügbarkeit und Open Source

Wan2.2-S2V steht ab sofort auf Hugging Face, GitHub sowie in ModelScope, der Open-Source-Community von Alibaba Cloud, zum Download bereit. Alibaba hatte bereits im Februar 2025 die Wan2.1-Modelle und im Juli die Wan2.2-Modelle veröffentlicht. Insgesamt wurden die Modelle bislang mehr als 6,9 Millionen Mal heruntergeladen – ein deutlicher Beleg für die wachsende Bedeutung der Serie innerhalb der globalen Open-Source-Community.

Beispielvideos demonstrieren die Möglichkeiten des Modells: Female Singer und Five Hundred Miles.

* * * * *

Publiziert durch PR-Gateway.de.