Forscher entwickeln KI-System, das Porträts anhand von Stimme und Bild animiert

Forscher haben ein neues KI-System namens EMO (Emote Portrait Alive) entwickelt, das aus einem einzelnen Standbild und einer Audiospur ausdrucksstarke Video-Porträts erstellen kann. Benutzer können also ein Bild des Gesichts einer Person und ihre Sprachaufnahme (Sprache oder Gesang) eingeben, und EMO generiert ein realistisches Video der Person, die mit Gesichtsausdrücken und Kopfbewegungen spricht oder singt, die mit der Audioaufnahme übereinstimmen.

Kernpunkte:

• Entwickelt von einem Team am Institut für intelligente Systeme der Alibaba Group.
• Verwendet Diffusionsmodellierung, die auf großen Audio-Video-Datensätzen (ca. 250 Stunden) trainiert wurde.
• Generiert Videos mit subtilen menschlichen Gesichtsgesten und Sprachbesonderheiten, die einer realen Person ähneln.
• Die Länge des fertigen Videos wird durch die Dauer der Audiospur bestimmt.
• Beispiele zeigen realistische und ausdrucksstarke Ergebnisse, die laut den Forschern andere ähnliche Anwendungen übertreffen.
• Das Team erkennt die Notwendigkeit von Richtlinien für die ethische Nutzung an, um Missbrauch zu verhindern.

Vorteile und potenzielle Anwendungen:

• Personalisierte Nachrichten: Erstellen Sie einzigartige Videogrüße oder Nachrichten mit dem Gesicht Ihrer Liebsten, die Ihre Worte „sprechen“.
• Erweitertes Storytelling: Animieren Sie Bilder in Präsentationen oder Geschichten und fügen Sie emotionale und ausdrucksstarke Elemente hinzu.
• Virtuelle Avatare: Entwickeln Sie personalisierte Avatare für Online-Interaktionen, Spiele oder Bildungs-zwecke.
• Emotionale Interaktionen: Erforschen Sie neue Wege des emotionalen Ausdrucks in interaktiven Anwendungen.

Zukünftige Überlegungen:

• Weitere Forschung und Entwicklung, um die Technologie zu verfeinern und potenziellen ethischen Bedenken zu begegnen.
• Erforschung zusätzlicher Funktionalitäten und Anwendungen für EMO.

Insgesamt stellt EMO einen bedeutenden Fortschritt in der KI-gestützten visuellen Kommunikation dar und bietet einzigartige Möglichkeiten für kreativen Ausdruck und interaktive Erlebnisse.