Порог вхождения в видеомонтаж за последние несколько лет понизился до такой степени, что скоро «Режиссер монтажа» вымрет как профессия! Их функции все чаще на себя берут режиссеры, продюсеры, редакторы и прочие.

Этому способствует развитие монтажных систем и цифровых носителей, которые очень упростили процессы, доведя видеомонтаж до банальных «копировать», «обрезать» и «сохранить». Ушли в прошлое сложные монтажки, которые требовали определенной подготовки для пользователя в области коммутации видеооборудования и параметров кодирования.

Аналоговые Betacam-ы были вытеснены всевозможными флешками, а многочисленные кодеки пришли к единым стандартам, таким как H.264.

Новый виток развития наметился в последнее время благодаря повсеместному развитию нейронным сетям и машинному обучению на их базе. Теперь эти технологии постепенно подбираются в видеопроизводству.

Проблема решена. Теперь искать любые фрагменты видео очень просто

Именно поэтому я создал приложение Videoindex, доступное в Mac App Store, которое позволяет сэкономить время на поиске видеофрагментов в исходниках. Ну то есть значительно сэкономить… Как будто ищешь что-то в Google.

Обычно процесс поиска видео, например, при монтаже ролика, где требуется контекстное перекрытие закадрового текста, может занять до трети общего времени на монтаж, при условии, что все необходимые исходники у вас имеются на локальных дисках.  

Моя программа предлагает указать путь к папке с исходниками, выбрать одну из двух встроенных в приложение обученных моделей Core ML (или даже использовать свои личные модели, если такие имеются) и запустить сканирование вашей библиотеки видео.

Она будет распознавать обьекты на видео и записывать информацию о пути к конкретному файлу и таймкоду найденного обьекта. После завершения сканирования, можно будет воспользоваться поиском, который выдаст все найденные фрагменты, соответствующие поисковому запросу.

Весь найденный список фрагментов можно будет экспортировать в формат XML, который как раз используется для переноса сохраненных секвенций с файлами и поддерживается практически всеми соременными монтажными программами.

В итоге буквально в пару кликов все, что вы искали, окажется аккуратно выложено на секвенции в вашем проекте.

То, что раньше могло занять буквально половину дня, сейчас займет пару минут.
Похожая (если не та же самая) технология распознавания используется в iOS для распознавания объектов на ваших фото, и облегчает навигацию по альбомам в iPhone.

Базовые модели машинного обучения используются для распознавания видеообъектов. Приложение поставляется с двумя моделями — YOLOv3 и Resnet50. Вы можете использовать их вместе и по отдельности, а также как свои собственные файлы моделей Core ML.

Для управления моделями откройте окно настроек с тремя слотами для загрузки моделей. Первый слот предназначен для модели YOLOv3, второй — для Resnet50, а третий слот доступен для загрузки ваших собственных файлов модели Core ML.

Videoindex активно отслеживает состояние каталогов, которые вы добавили для сканирования. То есть, если вы удалите или добавите файлы в папку, указанную в программе, эти изменения будут сохранены в базе данных Videoindex при следующем запуске. Если появляются новые файлы, статус просканированной папки изменится на «Еще не просканирован», и вы сможете сканировать новые видеофайлы.

Конечно, нужно учитывать что качество индексации и поиска напрямую зависит от качества обученных моделей, которые содержат информацию о распознаваемых моделях. Но файлов моделей с каждым днем становится все больше, организуются сообщества, где доступны для скачивания файлы моделей в различных форматах, таких как Kaggle, или просто набор картинок – Dataset, которые используются для создания этих самых обученных моделей.

А пока предлагаю скачать и попробовать Videoindex. Приложение стоит всего 99 руб. в Mac App Store. На Mac с процессорами M1 особенно интересно, программа работает ещё быстрее, так как в этих чипах используются ML-акселераторы.

Хотелось бы надеяться, что со временем, запустив последний Adobe Premier, мы увидим всего лишь одну кнопку  с надписью «Cмонтировать» и все. :)

• До ←

  Обзор принтера Epson LW-Z710. Он спас весь офис

• После →

  Как я воевал с Билайном про спам SMS и тотально проиграл