Я создал приложение для Mac для быстрого поиска предметов и людей в видео. Получилось!

Ш Дз avatar | 29
FavoriteLoading В закладки
Я создал приложение для Mac для быстрого поиска предметов и людей в видео. Получилось!

Порог вхождения в видеомонтаж за последние несколько лет понизился до такой степени, что скоро «Режиссер монтажа» вымрет как профессия! Их функции все чаще на себя берут режиссеры, продюсеры, редакторы и прочие.

Этому способствует развитие монтажных систем и цифровых носителей, которые очень упростили процессы, доведя видеомонтаж до банальных «копировать», «обрезать» и «сохранить». Ушли в прошлое сложные монтажки, которые требовали определенной подготовки для пользователя в области коммутации видеооборудования и параметров кодирования.

Аналоговые Betacam-ы были вытеснены всевозможными флешками, а многочисленные кодеки пришли к единым стандартам, таким как H.264.

Новый виток развития наметился в последнее время благодаря повсеместному развитию нейронным сетям и машинному обучению на их базе. Теперь эти технологии постепенно подбираются в видеопроизводству.

Проблема решена. Теперь искать любые фрагменты видео очень просто

Именно поэтому я создал приложение Videoindex, доступное в Mac App Store, которое позволяет сэкономить время на поиске видеофрагментов в исходниках. Ну то есть значительно сэкономить… Как будто ищешь что-то в Google.

Обычно процесс поиска видео, например, при монтаже ролика, где требуется контекстное перекрытие закадрового текста, может занять до трети общего времени на монтаж, при условии, что все необходимые исходники у вас имеются на локальных дисках.  

Моя программа предлагает указать путь к папке с исходниками, выбрать одну из двух встроенных в приложение обученных моделей Core ML (или даже использовать свои личные модели, если такие имеются) и запустить сканирование вашей библиотеки видео.

Она будет распознавать обьекты на видео и записывать информацию о пути к конкретному файлу и таймкоду найденного обьекта. После завершения сканирования, можно будет воспользоваться поиском, который выдаст все найденные фрагменты, соответствующие поисковому запросу.

Весь найденный список фрагментов можно будет экспортировать в формат XML, который как раз используется для переноса сохраненных секвенций с файлами и поддерживается практически всеми соременными монтажными программами.

В итоге буквально в пару кликов все, что вы искали, окажется аккуратно выложено на секвенции в вашем проекте.

То, что раньше могло занять буквально половину дня, сейчас займет пару минут.
Похожая (если не та же самая) технология распознавания используется в iOS для распознавания объектов на ваших фото, и облегчает навигацию по альбомам в iPhone.

Базовые модели машинного обучения используются для распознавания видеообъектов. Приложение поставляется с двумя моделями — YOLOv3 и Resnet50. Вы можете использовать их вместе и по отдельности, а также как свои собственные файлы моделей Core ML.

Для управления моделями откройте окно настроек с тремя слотами для загрузки моделей. Первый слот предназначен для модели YOLOv3, второй — для Resnet50, а третий слот доступен для загрузки ваших собственных файлов модели Core ML.

Videoindex активно отслеживает состояние каталогов, которые вы добавили для сканирования. То есть, если вы удалите или добавите файлы в папку, указанную в программе, эти изменения будут сохранены в базе данных Videoindex при следующем запуске. Если появляются новые файлы, статус просканированной папки изменится на «Еще не просканирован», и вы сможете сканировать новые видеофайлы.

Конечно, нужно учитывать что качество индексации и поиска напрямую зависит от качества обученных моделей, которые содержат информацию о распознаваемых моделях. Но файлов моделей с каждым днем становится все больше, организуются сообщества, где доступны для скачивания файлы моделей в различных форматах, таких как Kaggle, или просто набор картинок – Dataset, которые используются для создания этих самых обученных моделей.

А пока предлагаю скачать и попробовать Videoindex. Приложение стоит всего 99 руб. в Mac App Store. На Mac с процессорами M1 особенно интересно, программа работает ещё быстрее, так как в этих чипах используются ML-акселераторы.

Хотелось бы надеяться, что со временем, запустив последний Adobe Premier, мы увидим всего лишь одну кнопку  с надписью «Cмонтировать» и все. :)

1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (17 голосов, общий рейтинг: 4.76 из 5)
🤓 Хочешь больше? Подпишись на наш Telegram.
... и не забывай читать наш Facebook и Twitter 🍒
FavoriteLoading В закладки

Этот пост написан читателем в разделе Тусовка, где каждый может разместить статью. Начните по этой ссылке. Лучшие посты появятся на iPhones.ru.


P.S. Обязательно прочитайте инструкцию, она поможет.

undefined
iPhones.ru
Порог вхождения в видеомонтаж за последние несколько лет понизился до такой степени, что скоро «Режиссер монтажа» вымрет как профессия! Их функции все чаще на себя берут режиссеры, продюсеры, редакторы и прочие. Этому способствует развитие монтажных систем и цифровых носителей, которые очень упростили процессы, доведя видеомонтаж до банальных «копировать», «обрезать» и «сохранить». Ушли в прошлое сложные...
Прокомментировать

🙈 Комментарии 29

  1. Mutta On Vivahde avatar
    Mutta On Vivahde5 февраля в 11:07
    6

    Мне не нужно, но я куплю, чтобы поддержать разработчика. Очень впечатлило!

  2. dontrememberthename avatar
    dontrememberthename5 февраля в 11:22
    1

    купил из любопытства и чтоб поддержать разработчика, вроде как задумка крутая

  3. klrpl4 avatar
    klrpl45 февраля в 11:37
    2

    Ничего* не понял, но очень интересно(с)
    Лучше бы автор заснял видео с примером, а то из текста толком не понятно какие фрагменты каких моделей ищет прога ¯\_(ツ)_/¯

    kmbvst avatar
    kmbvst5 февраля в 13:49
    1

    @klrpl4, Вот прям с клавиатуры сняли. Тоже ничего не понял, но звучит интересно. )))

    Dr.Plush avatar
    Dr.Plush5 февраля в 17:38
    2

    @kmbvst, программа сканирует видеоролик по кадрам и определяет через нейросеть предметы и ситуации которые есть в кадре, потом можно в поиске указать например слово «книга» и приложение выдаст время где присутствуют книги, ну я так понял )

    Ш Дз avatar
    Ш Дз5 февраля в 21:05
    0

    @klrpl4, пожалуйста https://youtu.be/hEY-QRQqY0I

  4. Siberian84 avatar
    Siberian845 февраля в 12:11
    3

    Комментаторы зарегистрировались накануне ради комментария?😂

  5. Freingeer avatar
    Freingeer5 февраля в 12:43
    1

    Не плохо.
    А книги как хобби?

  6. others avatar
    others5 февраля в 14:41
    0

    Привет
    Как с тобой можно связаться?

    Ш Дз avatar
    Ш Дз5 февраля в 21:03
    0

    @others, здесь)

  7. Dos Raven5 февраля в 15:16
    0

    Помнится был один сервис по распознаванию, потом он ушел в го сектор и теперь через него находят людей которые на акции были.

    haxanus avatar
    haxanus5 февраля в 17:12
    1

    @Dos Raven, полезное дело.

    Dr.Plush avatar
    Dr.Plush5 февраля в 17:37
    0

    @Dos Raven, ага, основа «ушла», но случайно начали появляться боты в телеге, которые явно работает на базе findface

  8. akvotil avatar
    akvotil5 февраля в 17:32
    0

    а с чем связана нижняя версия макос 10.14? не хочется обновляться :)

    Ш Дз avatar
    Ш Дз5 февраля в 21:02
    0

    @akvotil, не все сидят на последних версиях

    akvotil avatar
    akvotil5 февраля в 21:04
    0

    @Ш Дз, у меня 10.13, поэтому и спрашиваю

    Ш Дз avatar
    Ш Дз5 февраля в 21:09
    0

    @akvotil, есть ограничения по одному из компонентов, Apple всегда же так подставляли))

    akvotil avatar
    akvotil5 февраля в 21:20
    1

    @Ш Дз, из-за этого не могу купить приложение. Очень перспективно, особенно для видеонаблюдения

    Ш Дз avatar
    Ш Дз5 февраля в 21:48
    0

    @akvotil, занимаюсь обновлением, попробовал снизить циферку – встроенные модели не поддерживают 10.13 ((

  9. nnm1 avatar
    nnm15 февраля в 22:32
    1

    Автору респект. Как идея, неплохо было бы распознавать речь по типу ютюба, чтобы еще можно было поискать о чем говорят на видео.

    Ш Дз avatar
    Ш Дз6 февраля в 23:54
    0

    @nnm1, да, планировал, в будущем, изучаю

  10. WhyEl avatar
    WhyEl6 февраля в 13:03
    1

    @Ш Дз, Спасибо, годный апп, приобрел. Сразу бросилось в глаза – было бы очень хорошо сразу иметь под рукой список всех доступных keywords, даже до индексации.
    Сегодня потестирую импорт XML в AE, отпишусь о впечатлениях )

    Ш Дз avatar
    Ш Дз6 февраля в 23:53
    0

    @WhyEl, интересная идея, но не до индексации, ибо модели ML модели могут быть вообще из разных областей, а вот после! подумаю над этим

  11. bellkind avatar
    bellkind7 февраля в 2:56
    0

    Купил. Вылетает. Каталина.

    Ш Дз avatar
    Ш Дз7 февраля в 12:36
    0

    @bellkind, если при запуске то проверьте пермишены(разрешения) на папку /Users/ваш никнейм/Library/Containers , если во время поиска, то попробуйте дождать окончания индексирования а потом пользоваться поиском, на днях выйдет обновление

    bellkind avatar
    bellkind9 февраля в 2:10
    0

    @Ш Дайте плиз контактные данные для связи – тут не особо удобно.

    Ш Дз avatar
    Ш Дз9 февраля в 8:56
    0

    @bellkind, у вас наверняка проблема с системой, возможно компонент Metal API отказывается работать из за пылинки на видеокарте которая создает статику, такое бывает, в любом случае вы можете вернуть покупку по ссылке https://support.apple.com/ru-ru/HT204084

    Ш Дз avatar
    Ш Дз9 февраля в 9:36
    0

    shamapost 🐶 icloud.com

  12. Xit avatar
    Xit12 февраля в 10:24
    0

    Приложение, конечно, интересное, но утверждение про вымирание профессии кравйне спорное

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь