OpenAI beeindruckt mit Text-zu-Video-KI Sora

ⓘ

Auf einen Blick

• OpenAI hat ein neues KI-Produkt namens Sora vorgestellt, das Textprompts in Videos von bis zu einer Minute Länge umwandelt.
• Sora verwendet die Recaptions-Technik von DALL-E 3, um hochdeskriptive Bildunterschriften für die visuellen Trainingsdaten zu erstellen.
• Sora kann komplexe Szenen generieren und berücksichtigt dabei, wie verschiedene Objekte in der physischen Welt interagieren.
• Im Gegensatz zu anderen Modellen generiert Sora ein gesamtes Video auf einmal, anstatt es Bild für Bild zu erstellen.
• Momentan hat nur eine ausgewählte Gruppe von Menschen Zugang zu Sora, um Feedback zu geben.

Sora ist das neueste Künstliche Intelligenz (KI) Produkt von OpenAI, das Textprompts in Videos von bis zu einer Minute Länge umwandeln kann.

Technik hinter Sora

Sora baut auf den früheren Forschungen mit den Modellen DALL·E und GPT auf und nutzt die Recaptions-Technik von DALL-E 3, die hochdeskriptive Bildunterschriften für die visuellen Trainingsdaten erstellt. Diese Technologie hilft Sora, aus einem Konfetti von zufälligen Pixeln ein vollständiges Bild zu erstellen.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Die Leistung von Sora

Soras einzigartiges Merkmal ist seine beeindruckende Fähigkeit, komplexe Szenen mit mehreren Charakteren, spezifischen Bewegungstypen und genauen Details zu Objekten und Hintergründen zu generieren.

Es kann sogar die Nuancen eines Prompts verstehen und berücksichtigen, wie verschiedene Objekte in der physischen Welt interagieren. Anstatt ein Video Bild für Bild zu erstellen, generiert Sora ein gesamtes Video auf einmal.

Die Limitierungen von Sora

Obwohl Sora beeindruckende Fähigkeiten besitzt, befindet es sich noch in der Forschungsphase mit Raum für Verbesserungen. Zum Beispiel kann es vorkommen, dass Sora Inhalte verkehrt interpretiert und dadurch ungewöhnliche Darstellungen erzeugt. Aus diesem Grund haben derzeit nur ausgewählte Personen Zugang zu Sora, um konstruktives Feedback zu liefern.

OpenAI arbeitet laut Aussage eng mit Experten auf den Gebieten Fehlinformation, Hassinhalte und Voreingenommenheit zusammen, um die Sicherheit und Genauigkeit von Sora zu gewährleisten und zu verbessern. Dieser fokussierte Ansatz auf die kontinuierliche Verbesserung verspricht spannende Entwicklungen für die Zukunft der Künstlichen Intelligenz.