Россиянин превратил старые чёрно-белые фильмы в цветные 4K-видео. Как такое возможно

Илья Сидоров avatar | 21
FavoriteLoading В закладки

В 1906 году братья Майльз выпустили документальный фильм Поездка по Маркет-стрит, снятый в Сан-Франциско в начале XX века.

Спустя чуть более ста лет Денис Ширяев превратил фильм во что-то ещё более волшебное.

Используя различные алгоритмы, Ширяев раскрасил видео, увеличил резкость пленки до 4K, а количество FPS до 60.

Это нельзя назвать реставрацией фильма, поскольку алгоритмы не только избавляют картинку от недостатков, но еще добавляют недостающие детали, которые изначально отсутствовали на пленке.

Мы называем это улучшением, потому что тренируем нейросети. И когда нейросети перерисовывают изображения, они добавляют новый слой данных. Следовательно, колоризация является улучшением. Апскейлинг — это улучшение. Кадровая интерполяция — это улучшение.

Денис Ширяев

Алгоритм DeOldify отвечает за цветокоррекцию. Он был обучен на 14 миллионах изображений, чтобы понять, как обычно выглядят различные предметы.

DeOldify распознает определенные объекты, например, траву, деревья и людей в разной одежде. Исходя из своей базы знаний, он автоматически заменяет черно-белые участки на цветные.

Алгоритм не идеален. Он хорошо работает только с объектами, на которых обучался, поэтому бывают ситуации, когда DeOldify подбирает неправильный цвет. Особенно эта проблема характерна для флагов.

Апскейлингом, то есть увеличением разрешения, занимается ESRGAN. Для его обучения использовались парные изображения: одно низкого качества, а другое высокого.

В видео ESRGAN анализирует каждый пиксель и на основе своей базы масштабирует картинку.

Конечно, сверхчетких деталей ждать не стоит, но надписи и крупные объекты выглядят вполне прилично.

Алгоритм DAIN для интерполяции кадров, ищет взаимосвязь между заданным кадром и следующим. Затем он анализирует, как различные объекты меняют положение от одного кадра к другому.

DAIN также может «изучить» современный фильм и увеличить количество FPS с 30 до безумных 480.

Ширяев обрабатывал видео в свободное время. По его словам, в первую очередь он хочет показать, на что способны современные модели машинного обучения.

В общем, я предположил, что если найти на ютубе все черно-белые видео, убрать из них художественные, оставив только документальные, и выбрать там самое популярное видео по просмотрам, оно может стать еще популярнее чем видео с поездом – так я наткнулся на видео с NYC 1911. Гипотеза подтвердилась и оно вызвало еще большую волну в плане хайпа, которую лениво расписывать.

Теперь приходится вечерами пилить какие-то эксперименты с нейронками для будущих видео, потому что я не хочу фокусироваться только на апскейле, но в целом показывать как круто сейчас в мире ML, и как быстро мы оказались в настоящем будущем.

Денис Ширяев

Все алгоритмы бесплатные, поэтому любой желающий может использовать их в своих целях. Для этого придется изучить документацию, а также найти компьютер с Linux и мощной видеокартой.

Графический процессор очень важен. Обработка Поездки по Маркет-стрит заняла почти полмесяца, потому что алгоритмы очень медленные.

Тем не менее, полученный результат точно оправдывает затраченное время.

1. Поездка по Маркет-стрит (Сан-Франциско): 1906 год

2. Лунный автомобиль, экспедиция «Аполлон-16»: 1972 год

3. Токио: 1913—1915 год

4. Москва, ул. Тверская: 1896 год

5. Нью-Йорк: 1911 год

1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (39 голосов, общий рейтинг: 4.79 из 5)
🤓 Хочешь больше? Подпишись на наш Telegramнаш Telegram.
... и не забывай читать наш Facebook и Twitter 🍒
FavoriteLoading В закладки
undefined
iPhones.ru
Все благодаря искусственному интеллекту и машинному обучению.
Прокомментировать

🙈 Комментарии 21

  1. Dobriy avatar
    Dobriy15 августа в 20:28
    2

    Молодец, толковый парень.

  2. Dyrimar avatar
    Dyrimar15 августа в 21:01
    3

    Круть! Большое уважение человеку и за идею и за реализацию!!!
    А зная не по наслышке о машинном обучении и ии снимаю шляпу за упорство!!
    Браво!

  3. mag88 avatar
    mag8815 августа в 22:04
    5

    Обладеть насколько другая атмосфера в 1906

  4. ibananov2013 avatar
    ibananov201315 августа в 23:38
    5

    Я видел эти видео раньше и каждый раз застываю у экрана. Как??! Как же это возможно? Особенно меня поражает восстановление несуществующих кадров. Там же кадровка была очень скудная. Ладно там восстановить цвет из ЧБ, убрать шум и тд. Это всё равно работа с существующим, а как добивались плавности 60fps?? Это ж надо как-то машину научить восстанавливать промежуточные несуществующие кадры. Вот это очень интересно.

    Dmitry T16 августа в 0:42
    0

    @ibananov2013, обычным матстатом.

    ibananov2013 avatar
    ibananov201316 августа в 0:55
    1

    @Dmitry T, я бы не называл эту сложнейшую систему вычислений обычной.

    Владимир Гренадеров avatar
    Владимир Гренадеров16 августа в 19:28
    0

    @ibananov2013, там нет никакой магии – как решение дифуров численным способом просто за счет мощности компьютера. Несколько ключевых и сложных алгоритмов, но вокруг все довольно таки просто (для инженера, который потратил некоторое время на погружение в проблему).

    Gidrotehniks16 августа в 10:47
    0

    @ibananov2013, ну 4к здесь номинальное. В 360 pi такая же резкость

  5. potatoonair avatar
    potatoonair16 августа в 0:53
    3

    Очень интересно как двигаются трамваи без проводов. Кхм

    ShamanskyRobert avatar
    ShamanskyRobert16 августа в 1:24
    0

    @potatoonair, это Сан-Франциско, там у трамвая вместо подвесного контактного провода, контактный рельс. Он находится посредине между двух обычных рельсов.
    Загуглите.
    Кстати говоря, даже на этом видео все прекрасно видно.

    hzefdxu9zi avatar
    hzefdxu9zi16 августа в 5:00
    8

    @ShamanskyRobert, там нет контактного рельса и нет электричества, там трос под мостовой (принцип канатной дороги)

    ShamanskyRobert avatar
    ShamanskyRobert16 августа в 13:21
    0

    @hzefdxu9zi, спасибо, что просветили!

    potatoonair avatar
    potatoonair17 августа в 0:31
    0

    @hzefdxu9zi, это фантастика

    FiLunder_7 avatar
    FiLunder_716 августа в 12:27
    2

    @ShamanskyRobert, Ага, силовой рельс 750 Вольт прям на улице города =)))))

    potatoonair avatar
    potatoonair17 августа в 0:30
    0

    @ShamanskyRobert, контактный рельс? Надеюсь вы представляете себе последствия…

  6. Gidrotehniks16 августа в 10:43
    1

    Айфон лучше снимает ))

  7. Игорь Мамонтов avatar
    Игорь Мамонтов16 августа в 11:40
    1

    Всегда думал, что 4К — это разрешение. Но в статье сказано, что 4К — это резкость. Мдя.

  8. joker2k2 avatar
    joker2k216 августа в 14:57
    0

    “Алгоритм не идеален. Он хорошо работает только с объектами, на которых обучался, поэтому бывают ситуации, когда DeOldify подбирает неправильный цвет. Особенно эта проблема характерна для флагов”

    странно, вроде должно быть наоборот же, флаги однозначны, легко идентифицируются, достаточно обучить алгоритм на флагах, и цвета должны подбираться с большой точностью.

    Владимир Гренадеров avatar
    Владимир Гренадеров16 августа в 19:30
    0

    @joker2k2, флаги совсем не однозначны – тех же триколоров была и есть тьма-тьмущая. Вот если натаскать на конкретный исторический период с привязкой к местности, то да, промахов будет минимум.

  9. Андрей avatar
    Андрей16 августа в 15:24
    1

    Пост для тех, кто не читает Tjournal. Удивлен, что такие тут есть.

  10. olaf88 avatar
    olaf8817 августа в 15:17
    0

    Видел на ютуб это около года назад

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь