Movie Gen на Meta създава завладяващи видеоклипове с изкуствен интелект

Meta току-що обяви свой собствен AI модел, фокусиран върху медиите, наречен Movie Gen, който може да се използва за създаване на фотореалистични видеоклипове и аудио клипове.

Компанията сподели няколко 10-секундни клипа, създадени с Общ филмвключително бебе хипопотам в стил Moo Deng, което плува наоколо, за да покаже способностите си. Въпреки че инструментът все още не е достъпен за използване, съобщението за Movie Gen идва малко след събитието Meta Connect, което демонстрира нов и актуализиран хардуер и най-новата версия на големия езиков модел, Llama 3.2.

Отивайки отвъд създаването на директен текст към видео клипове, моделът Movie Gen може да прави целенасочени редакции на съществуващ клип, като добавяне на обект към нечия ръка или промяна на външния вид на повърхност. В един примерен видеоклип от Meta жена, носеща VR слушалки, беше трансформирана така, че да изглежда така, сякаш носи Steampunk обхват.

Аудио клипове могат да се създават заедно с видео клипове с помощта на Movie Gen. В примерни клипове човек с изкуствен интелект стои близо до водопад със звукови пръски и обнадеждаващи симфонични звуци; Двигателят на спортната кола мърка и гумите скърцат, докато се носи около пистата, а змията се плъзга по горската почва, придружена от драматични клаксони.

Мета сподели някои допълнителни подробности за Movie Gen в изследователска статия, публикувана в петък. Movie Gen Video се състои от 30 милиарда параметри, докато Movie Gen Audio се състои от 13 милиарда параметри. (Броят на параметрите на модела приблизително съответства на неговия обхват на мощност; за разлика от това, по-голямата версия на Llama 3.1 има 405 милиарда параметъра.) Movie Gen може да произвежда видеоклипове с висока разделителна способност с дължина до 16 секунди, а Meta твърди, че превъзхожда моделите Competition. Като цяло качество на видеото.

По-рано тази година изпълнителният директор Марк Зукърбърг показа функцията Imagine Me на Meta AI, където потребителите могат да качат снимка на себе си и да изиграят лицата си в множество сценарии, като публикуват снимката на самия AI. Удавяне в златни вериги По теми. Възможно е да пуснете видеоклип с подобна функция, като използвате модела Movie Gen, мислете за него като за вид ElfYourself на стероиди.

На каква информация се обучава Movie Gen? Подробностите не са ясни в съобщението на Meta: „Ние обучихме тези модели на набор от лицензирани, публично достъпни набори от данни.“ Източниците на данни за обучение и това, което може да бъде извлечено от мрежата, остават спорен въпрос за генеративните AI инструменти и рядко е публично известно какъв текст, видео или аудио клипове са използвани за създаването на кой от основните модели.

Ще бъде интересно да видим колко време ще отнеме на Meta, за да направи Movie Gen широко достъпен. Блогът за обявяване смътно се отнася до „възможно бъдещо издание“. За сравнение, OpenAI обяви свой собствен AI видео модел, наречен Sora, по-рано тази година и все още не го е предоставил на обществеността или не е споделил предстояща дата на пускане (въпреки че WIRED получи някои ексклузивни клипове на Sora от компанията, за да разследва пристрастия).

Като се има предвид наследството на Meta като компания за социални медии, е възможно инструментите, поддържани от Movie Gen, в крайна сметка да започнат да се появяват във Facebook, Instagram и WhatsApp. През септември конкурентът Google сподели планове да направи аспекти от своя видео модел Veo достъпни за създателите в рамките на кратки видеоклипове в YouTube някъде през следващата година.

Въпреки че големите технологични компании все още не са склонни да пуснат своите пълни видеомодели на обществеността, можете да изпробвате захранвани с изкуствен интелект видео инструменти сега от по-малки стартиращи компании, като Писта за излитане и кацане и Бека. Опитайте Pikaffects, ако някога сте били любопитни какво би било да видите себе си Карикатурно смазан С хидравлична преса или изведнъж се стопи в локва.