В 1906 году братья Майльз выпустили документальный фильм Поездка по Маркет-стрит, снятый в Сан-Франциско в начале XX века.

Спустя чуть более ста лет Денис Ширяев превратил фильм во что-то ещё более волшебное.

Используя различные алгоритмы, Ширяев раскрасил видео, увеличил резкость пленки до 4K, а количество FPS до 60.

Это нельзя назвать реставрацией фильма, поскольку алгоритмы не только избавляют картинку от недостатков, но еще добавляют недостающие детали, которые изначально отсутствовали на пленке.

Мы называем это улучшением, потому что тренируем нейросети. И когда нейросети перерисовывают изображения, они добавляют новый слой данных. Следовательно, колоризация является улучшением. Апскейлинг — это улучшение. Кадровая интерполяция — это улучшение.

Денис Ширяев

Алгоритм DeOldify отвечает за цветокоррекцию. Он был обучен на 14 миллионах изображений, чтобы понять, как обычно выглядят различные предметы.

DeOldify распознает определенные объекты, например, траву, деревья и людей в разной одежде. Исходя из своей базы знаний, он автоматически заменяет черно-белые участки на цветные.

Алгоритм не идеален. Он хорошо работает только с объектами, на которых обучался, поэтому бывают ситуации, когда DeOldify подбирает неправильный цвет. Особенно эта проблема характерна для флагов.

Апскейлингом, то есть увеличением разрешения, занимается ESRGAN. Для его обучения использовались парные изображения: одно низкого качества, а другое высокого.

В видео ESRGAN анализирует каждый пиксель и на основе своей базы масштабирует картинку.

Конечно, сверхчетких деталей ждать не стоит, но надписи и крупные объекты выглядят вполне прилично.

Алгоритм DAIN для интерполяции кадров, ищет взаимосвязь между заданным кадром и следующим. Затем он анализирует, как различные объекты меняют положение от одного кадра к другому.

DAIN также может «изучить» современный фильм и увеличить количество FPS с 30 до безумных 480.

Ширяев обрабатывал видео в свободное время. По его словам, в первую очередь он хочет показать, на что способны современные модели машинного обучения.

В общем, я предположил, что если найти на ютубе все черно-белые видео, убрать из них художественные, оставив только документальные, и выбрать там самое популярное видео по просмотрам, оно может стать еще популярнее чем видео с поездом – так я наткнулся на видео с NYC 1911. Гипотеза подтвердилась и оно вызвало еще большую волну в плане хайпа, которую лениво расписывать.

Теперь приходится вечерами пилить какие-то эксперименты с нейронками для будущих видео, потому что я не хочу фокусироваться только на апскейле, но в целом показывать как круто сейчас в мире ML, и как быстро мы оказались в настоящем будущем.

Денис Ширяев

Все алгоритмы бесплатные, поэтому любой желающий может использовать их в своих целях. Для этого придется изучить документацию, а также найти компьютер с Linux и мощной видеокартой.

Графический процессор очень важен. Обработка Поездки по Маркет-стрит заняла почти полмесяца, потому что алгоритмы очень медленные.

Тем не менее, полученный результат точно оправдывает затраченное время.

1. Поездка по Маркет-стрит (Сан-Франциско): 1906 год

2. Лунный автомобиль, экспедиция «Аполлон-16»: 1972 год

3. Токио: 1913—1915 год

4. Москва, ул. Тверская: 1896 год

5. Нью-Йорк: 1911 год

• До ←

  Это самая дорогая версия компьютерной игры в мире. В комплекте суперкар и полёт в космос

• После →

  15 сногсшибательных вещей с AliExpress. Нож для арбуза