Сбер представил семейство генеративных моделей Kandinsky WM 1.0, предназначенных для создания видео с более точным соблюдением законов физики.
Они ориентированы на обучение систем Physical AI — искусственного интеллекта, управляющего роботами, беспилотными автомобилями и промышленной техникой. Одной из главных проблем этой области остается нехватка обучающих данных: для подготовки современных моделей требуются миллионы часов видеозаписей, тогда как собрать такой объем материалов крайне сложно и дорого.
В основе Kandinsky WM лежит модель Kandinsky 5.0 Video Lite, которую дополнительно обучили на видеозаписях с камер роботов, беспилотного транспорта и промышленных процессов. Такой подход позволяет генерировать ролики, пригодные для обучения автономных систем, включая редкие, опасные или трудно воспроизводимые сценарии, которые сложно снять в реальных условиях.
Модели распространяются под лицензией MIT, то есть их код и веса опубликованы в открытом доступе и доступны разработчикам бесплатно.
► Kandinsky WM создает видеоролики продолжительностью около пяти секунд. Они моделируют отдельные действия, включая манипуляции с предметами, дорожные ситуации и производственные процессы. Эти фрагменты могут использоваться как базовые элементы для обучения роботов и беспилотного транспорта.
► Для повышения физической достоверности разработчики обучили модель на нескольких миллионах реальных видеосцен.
► Для отдельных направлений, в том числе автомобильных сценариев, применялось обучение с подкреплением, благодаря которому нейросеть научилась лучше сохранять форму объектов, геометрию сцены и естественность движения.
Kandinsky WM станет полезен компаниям, занимающимся созданием беспилотного транспорта, промышленной робототехники и систем компьютерного зрения, а также исследовательским центрам, университетам и стартапам. Модели уже используются Центром робототехники Сбера для обучения собственных роботов и институтом AIRI в дорожном симуляторе.
Будь первым, оставь комментарий