Nvidia представила нейросеть, которая создает видео из текста

Илья Сидоров avatar | 8
FavoriteLoading В закладки

Лаборатория Nvidia в Торонто, которая занимается развитием искусственного интеллекта, представила нейросеть, генерирующую видео по текстовому описанию.

За основу разрабочики взяли нейросеть Stable Diffusion, но доработали алгоритм для получения видео в высоком качестве.

Сгенерированные ролики имеют разрешение 1280 x 2048 пикселей, состоят из 113 кадров и обрабатываются со скоростью 24 кадра в секунду, в результате чего получаются видео продолжительностью 4,7 секунды.

В общей сложности алгоритм имеет 4,1 млрд параметров, за создание видео отвечают только 2,7 млрд из них.

Посмотреть все сгенерированные видео можно на отдельной странице. Протестировать ИИ пока что нельзя, потому что он является частью научной работы. [Nvidia]

1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (8 голосов, общий рейтинг: 4.63 из 5)
undefined
iPhones.ru
Лаборатория Nvidia в Торонто, которая занимается развитием искусственного интеллекта, представила нейросеть, генерирующую видео по текстовому описанию. За основу разрабочики взяли нейросеть Stable Diffusion, но доработали алгоритм для получения видео в высоком качестве. Сгенерированные ролики имеют разрешение 1280 x 2048 пикселей, состоят из 113 кадров и обрабатываются со скоростью 24 кадра в секунду, в результате чего...
Прокомментировать

🙈 Комментарии 8

  1. OldSchoolBool avatar
    OldSchoolBool19 апреля 2023
    1

    с певком потянет

  2. redupcoming avatar
    redupcoming20 апреля 2023
    1

    В принципе, для генерации музыкального клипа хватит.

  3. Dmitry Sharov avatar
    Dmitry Sharov20 апреля 2023
    0

    Вот устроили этот хайп с нейросетями, прям как-будто без них жизни не будет. Очень напоминает такой же хайп с майнингом криптовалют, который уже почти год как утих и про них ничего фактически и не слышно.

    kulachok5 avatar
    kulachok520 апреля 2023
    1

    @Dmitry Sharov, Скорее как с нано материалами. Чего нам тогда только не обещали, и футболку в которой на северном полюсе можно будет бегать и батареи которые будут отдавать тепло как раскаленная железяка и много еще чего.

    В итоге исключительно маркетинг.

    alf_liam avatar
    alf_liam20 апреля 2023
    0

    @Dmitry Sharov, едва ли уместное сравнение. Криптовалюты – это изначально мыльный пузырь если задуматься, эфемерные и/или виртуальные деньги.
    Нейросети – область имеющая куда более широкое применение, и результаты Вы можете уже видеть; зачастую можно и не понять что некоторый контент – результат работы нейросетей. А вот когда Вы это узнаете – волосы могут зашевелиться.
    Думаю, некоторые весьма неглупые люди не зря выступают с настойчивым предложением ограничить обучение нейросетей, чтобы предотвратить опасные последствия. Да, можете шутить про Скайнет и прочее, но мы можем быть на пороге интересных открытий, особенно если считать нейросети просто хайпом. Лучше провести собственные research and analytics и решить, чем потом догонять, just a thought…

  4. smbros avatar
    smbros20 апреля 2023
    0

    113 фоток последовательных генерят, склеивают и ага.

    OldSchoolBool avatar
    OldSchoolBool20 апреля 2023
    0

    @smbros, и да и нет. генерят в общем контексте. типа как ltsm сети для текста

  5. Anjali Rawat avatar
    Anjali Rawat21 апреля 2023
    0

    Hello!!

    Useful blog. Thank you for sharing with us.
    Anyone want to know about Best price of powertrac euro 50 in India they can find all tractor related details on Tractorkarvan.

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь