22 февраля 2021 года в TikTok появилось видео, где Том Круз здоровается с аудиторией соцсети и играет в гольф. Ролик набрал 12,3 миллиона просмотров, а в его реалистичность поверили сотни тысяч по всему миру, в том числе в России.
На протяжении следующих двух недель в аккаунт загрузили ещё три видео с актёром.
В них он сделал трюк с монеткой, разгрыз чупа-чупс и рассказал, как Михаил Горбачёв шутил про медведей.
Ролики кажутся настоящими, но Том Круз на них, хоть и невероятно похож на себя, выглядит на 15 лет моложе. Все в замешательстве, а ответ лежал на поверхности.
В начале марта специалист по графике из Бельгии и создатель вирусных видео Крис Умэ рассказал, как сделал их. И объяснил, что пытался доказать самым реалистичным пранком в истории Deepfake.
Deepfake – технология нейросети, которая генерирует лицо человека после тренировки на большом массиве исходных фотографий.
Готовый результат накладывают на существующее видео, тем самым меняя в кадре одну личность на другую.
Алгоритмы начали активно развиваться в 2018 и чаще всего лежат в открытом доступе.
Всё началось с Тома Круза в президенты
Вы можете узнать актёра Майлза Фишера (Miles Fisher) по роли в фильме «Пункт назначения 5».
В 2019 году он сыграл Тома Круза, который баллотируется в президенты США и агитирует голосовать за него. Это видео выше собрало 5,3 млн просмотров.
Майлз Фишер в Пункте Назначения 5
В том «промо» не было дипфейка или попытки выдать одного актёра за другого, поскольку Фишер сам по себе сильно напоминал Круза.
Тогда ролик понравился специалисту по графике Крису Умэ (Chris Ume). Он уже год занимался дипфейкми в компании , и налепил на ролик лицо Тома Круза. Работа получилась не идеальной, но достаточно хорошей, чтобы привлечь внимание актёра Майлза Фишера.
После выборов 2020 года в январе 2021-го они сделали новый ролик.
Та же роль, снова призыв голосовать, но в этот раз видео заканчивается тем, что из воды появляется «настоящий» Том Круз.
На него у создателей, конечно, не было бюджета. Но актёр выглядил как настоящий.
Несмотря на неожиданную развязку, видео не попало в тренды и собрало всего лишь 35 тысяч просмотров. Но отработанную технологию не стали бросать.
И Умэ, и Фишер понимали, что у их тандема есть более серьёзный потенциал. Осталось найти правильную платформу.
Лучший дипфейк появился в TikTok. Посмотрите, выглядит пугающе правдиво
@deeptomcruise Sports!
Первый ролик с подставным актёром
Из других социальных сетей одна выделяется особенно чётко. Если видео там взлетает, то собирает оглушительный успех. О нём начинают говорить все.
В TikTok первый ролик с играющим в гольф «Томом Крузом» выглядел настолько реалистичным, что собрал больше 10 миллионов просмотров.
@deeptomcruise
Второе видео. Лже-Круз рассказывает, как повстречался с Горбачёвым. Тот якобы пошутил о том, что им нужен тяжелый полярный медведь, чтобы «разбить между ними лёд»
Стало быстро понятно, что актёр ненастоящий, поскольку выглядел подозрительно моложе.
Но графики на видео будто и не было, настолько хорошо она сделана. Так что люди просто решили, что перед ними дублёр.
@deeptomcruise I love magic!
@deeptomcruise And bubblegum?!
В монтаж сложно поверить, потому что лицо двигается естественно и идеально подходит под пропорции головы.
Свет падает правильно, цветовая коррекция полностью соответствует остальному телу.
К тому же, в кадре всё время есть руки, очки и шляпы, вырезать которые сложно при накладывали второго слоя видео.
Атрефакты и недоработки почти невозможно найти, но они есть
Перед тем, как сыграть в гольф, ложный Том Круз здоровается со зрителями и надевает очки. В этот момент на один кадр линза слева сливается со ртом и неестественно его искажает.
На втором видео после падения в отражении видно лицо настоящего актёра, а пририсованное размыто.
На третьем ролике при входе актёра в кадр голова двинулась словно в кривом зеркале, а на четвёртом заметная слишком мягкая текстура кожи.
Только все эти детали легко списать на плохое сжатие видео в TikTok или лаги, поэтому мало кто на самом деле пытался копнуть глубоко.
Секрет создания остался в тайне
Крис Умэ за работой над дипфейком с Голлумом
Только через две недели автор вышел из тени, чтобы в двух интервью рассказать о своей идее.
Причина такого хорошего обмана в очень качественном отслеживании движения и подгоне исходника из Deepfake. В своём видео Крис Умэ показывает некоторые этапы производства.
Если вы интересовались технологией, то часть техник уже видели. Например, анализ мимики через массив данных делают для большинства дипфейков, поэтому среди них так популярны киноактёры.
Распознать мимику и синхронизировать её с лицом уже тоже не кажется чем-то сложным. В короткой нарезке о создании это хорошо видно.
Однако Крис Умэ не раскрывает своих главных технических секретов. Дело в том, что даже обкатанная технология требует адаптации.
Всё ещё непонятно, как получилось сделать сгенерировать полноценную бесшовную маску, когда она встречалась с руками, очками, кепками. Или как настолько точно синхронизировался рот с речью (этой частью создатель ужасно гордится).
Нет ответа и на то, как Умэ сделал для лица реалистичное искривление объектива на последнем видео, когда актёр снимает себя на фронтальную камеру.
Правда вскрылась по необычной причине
Слева оригинал с Майлзом Фишером
И хотя в этот раз многие поняли, что это был не Том Круз из-за уровня его публичности, в следующий раз всё будет не так очевидно.
Представьте ситуацию, когда человека похищают или знают, что он вне доступа, а в реальном времени с помощью видеозвонка имитируют не только голос, но и лицо жертвы.
А потом вымогают деньги, вводят в заблуждение родственников, выдают корпоративную информацию.
У технологии опасный потенциал, поэтому создатель роликов Крис Умэ не торопился давать интервью. Он пробовал понять, как строить коммуникацию с обществом.
Якобы Дональд Трамп читает сказку об оленёнке, который украл выборы. Видео сделали создатели South Park
В итоге Умэ заявил, что людям пора стать более разборчивыми и развивать критичность мышления. Что дипфейки были и раньше, просто без такого названия.
Зато сейчас мы знаем об их существовании. И понимаем, что не нужно верить всему, что видим.
Крис своими работами решил показать, на что способны специалисты в этой области, чтобы люди были готовы к подобным трюкам.
Ведь даже алгоритмы TikTok для распознавания дипфейков не смогли найти разницу и удалить ролики. Обман заметили только люди, вручную перебирая каждый кадр.
Такой ролик требует редких ресурсов
Умэ озвучил страшные мысли, но признаёт, что пока такие ролики сложны не только в техническом плане.
Чтобы создать видео, сначала он 2 месяца тренировал нейросеть на 18 000 снимков Тома Круза со всех возможных ракурсов. Только после этого он смог генерировать абсолютно любое выражение его лица. На всех людей таких данных не набрать.
Джон Сноу извиняется за финал 8 сезона Игры Престолов. Первое успешное вирусное видео, которое сделал Крис Умэ. Тут тоже понадобилось много редких исходников Кита Хэрингтона
Затем графический дизайнер пару дней продумывал и снимал ролик. И после этого около трёх дней «вписывал» лицо Круза в кадр.
Глядя на хронологию, ничего страшного в требуемом времени нет. Но Умэ признался, что без отличного актёра вроде Майлса Фишера ничего бы не получилось. Он совпал внешне, сделал похожий голос, воссоздал знакомую пластику и мимику.
В ролике с гольфом даже были моменты, когда мы видим исключительно лицо Фишера, не замечая этого.
По итогу создатель видео хочет развлекать, а не обманывать. И говорит о законах
На своём сайте Крис Умэ показывает список свои работ. Например, у него есть видео, где Снуп Дог делает ASMR с расчёской и ногточками.
Хотя первое время он не говорил, что работал над дипфейковыми роликами, позже раскрыл о них почти всю информацию.
В интревью изданию Fortune он поделился, что увидел огромный потенциал технологии в сфере кино и не желает работать с правительствами над порпагандой.
Умэ считает, что со временем киностудиям будем проще работать с актёрами.
Например, кто-то идеально подойдёт пластикой и мимикой, чтобы точно отыграть роль, но детали в его внешности будут не совсем подходящими. Тогда продюсеры не станут искать кого-то другого, а, как на фотографии, «отретушируют« внешность под требуемый типаж.
И потому Крис уверен, что должны появиться законы, регулирующие дипфейки. Для развлечения это будет прекрасный инструмент, как и любые визуальные трюки. Для всего остального Deepfake превратится в опасное оружие. [Fortune]
◈ Рассказываем на примере СССР, Тома Хэнкса и других… Почему невозможно отличить дешёвый дипфейк от реальных фото
◈ Новое приложение Familiar вставляет ваше лицо в любую гифку
◈ Приложение ZAO заменяет ваше лицо в любом фильме. Был Ди Каприо, стал Василий
(12 голосов, общий рейтинг: 4.75 из 5)
Павел
@novraptureУ меня 4 новых года: обычный, свой, WWDC и сентябрьская презентация Apple. Последний — самый ожидаемый, и ни капли за это не стыдно.
🙈 Комментарии 6