Пользователи ГигаЧата теперь могут бесплатно создавать видео с речью, музыкой и звуками окружения.
Это стало возможно благодаря новой модели Kandinsky 6.0 Video, которая умеет генерировать ролики с синхронным звуком.
Чтобы создать видео, достаточно описать сцену текстом. Также можно загрузить первый кадр и отдельно добавить описание звукового ряда.
Сейчас максимальная длительность ролика со звуком составляет до 5 секунд. В будущем этот лимит обещают увеличить.
Видео можно генерировать в нескольких вариантах качества: SD, HD и Full HD.
Нужный режим выбирается прямо в окне ввода перед отправкой запроса.
Главная особенность новой модели: синхронная генерация картинки и звука. За счёт этого речь, эффекты и фоновая музыка подстраиваются под происходящее в кадре, а губы персонажей двигаются вместе с озвучкой.
Если звук не нужен, ролик можно сгенерировать и без него.
В Сбере также заявили, что Kandinsky 6.0 Video лучше передаёт физику реального мира. Движения людей, животных и техники должны выглядеть естественнее, особенно в динамичных сценах.
Компания называет Kandinsky первой российской нейросетью, которая умеет создавать видео с синхронным звуком.
► Отдельно модель открыли и для разработчиков. Она доступна в open source по лицензии MIT, так что её можно бесплатно встраивать в собственные продукты. Заявлена поддержка популярных инструментов, включая FAL, Diffusers, FastVideo, ComfyUI, SGLang и vLLM-omni.
❝
Мы хотим, чтобы генеративный ИИ стал таким же естественным инструментом креатора, как сегодня текстовый редактор или камера телефона. Любой человек получает возможность снимать более выразительные личные видео. А для профессионального контента это означает более быстрое и выгодное производство. Модель Kandinsky 6.0 Video мы отдаём разработчикам бесплатно и без ограничений — строить на ней свои сервисы может каждый.– Антон Фролов, старший вице-президент, руководитель блока «Развитие генеративного ИИ» Сбербанка
► Звуковой модуль обучали более чем на 20 млн видео со звуком. Для обучения использовались ролики с качественной аудиодорожкой, а также видео с говорящими людьми крупным планом для более точной синхронизации речи и мимики.
Сбер также утверждает, что версия Kandinsky 6.0 Video Pro в среднем лучше Kandinsky 5.0 в 71% случаев по основным критериям качества, а в задаче оживления изображений превосходит LTX 2.5 и Veo 3.1 Fast.
Не стесняйтесь, тут все свои. Пишите, что думаете по этому вопросу