Моделът за генериране на видео Sora на OpenAI може също да изобразява видео игри

Кредити за изображения: OpenAI

Новият OpenAI – и първият! — Моделът за видео продукция, Sora, може да постигне някои наистина невероятни кинематографични произведения. Но моделът е балансиран Повече ▼ Първоначално може да е OpenAI, поне ако се съди по технологията хартия Публикувано тази вечер.

Документът, озаглавен „Моделите за генериране на видео като универсални симулатори“, съавтор на група изследователи от OpenAI, дръпва завесата върху ключови аспекти на архитектурата на Sora – например разкрива, че Sora може да генерира видеоклипове с произволна разделителна способност и аспект съотношение (до 1080p). Според документа Sora е в състояние да изпълнява набор от задачи за редактиране на снимки и видео, от създаване на циклични видеоклипове до разтягане на видеоклипове напред или назад във времето и дори промяна на фона в съществуващ видеоклип.

Но това, което е най-интересно за този писател, е способността на Сора да „симулира цифрови светове“, както се изразиха съавторите на OpenAI. В един експеримент OpenAI пусна Сора в Minecraft и го накара да изобрази света – и неговата динамика, включително физика – като същевременно контролира играча.

Сора контролира играч в Minecraft – изобразявайки света на видеоигрите, докато го прави. Обърнете внимание, че зърнистостта е предоставена от конвертора на видео към GIF, а не от Sora. Кредити за изображения: OpenAI

И така, как Сора може да направи това? така Забележете Написано от старши изследовател на Nvidia Джим Фан (чрез кварц), Sora е по-скоро „управляван от данни физически двигател“, отколкото създател. Това не е просто създаване на едно изображение или видео, а определяне на физиката на всеки обект в околната среда – и представяне на изображение или видео (или интерактивен 3D свят, според случая) въз основа на тези изчисления.

„Тези възможности предполагат, че продължаващото разширяване на видеомоделирането е обещаващ път към разработването на много способни симулатори на физическия и цифровия свят и обектите, животните и хората, които живеят в тях“, пишат съавторите.

Сега се прилагат обичайните ограничения на видеоигрите на Sora. Моделът не може точно да приближи физиката на основни взаимодействия, като например разбиване на стъкло. Дори и с такива взаимодействия Мога Моделът Сора често е непоследователен – например изобразява някой, който яде бургер, но не оставя следи от ухапване.