Войти

Или войди с помощью

Как мы сделали Dpth: приложение, создающее 3D-фото с любого iPhone

Marat Bashlikov avatar |
Как мы сделали Dpth: приложение, создающее 3D-фото с любого iPhone

Мы в RoadAR занимаемся больше транспортной тематикой, у нас есть мобильное приложение-видеорегистратор, которое распознаёт дорожные знаки и помогает не нарушать. Им мы занимаемся уже довольно давно и развиваем в историю со сбором HD-карт для беспилотных машин.

Если коротко — идея в том, чтобы водители получали полезный сервис формата ADAS (Advanced Driver Assistance System, система продвинутой помощи водителю), при этом собирали постоянно обновляемые карты дорог высокого разрешения для беспилотных машин.

Эта технология называется SLAM (Simultaneous Localization And Mapping, одновременное картирование и локализация). Простите за обилие терминов, но без них тут сложно объяснить.

Так вот, когда мы делаем SLAM с одной камеры, алгоритму очень сложно инициализироваться, понять примерное расстояние до объектов, особенно на большой скорости на трассе.

Для решения этой проблемы мы решили использовать нейронные сети, которые в последнее время невероятно круто развиваются. В итоге (не без боли и страданий) у нас это получилось, более того, мы смогли заставить всё это работать на смартфоне.

Проблема с инициализацией ушла и это позволило нам продвинуться ещё на шаг вперёд в деле создания карт силами сообщества.

Но увидев результаты работы сети на обычных фото, мы решили, что просто не можем не поделиться с миром возможностью получать 3D из единственной картинки, снятой с одной камеры.

Так и появилась идея приложения D P T H (от слова depth — «глубина»).

Продукт

Мы решили начать с простого эффекта глубины резкости в зависимости от расстояния. То есть картинка должна размываться с радиусом, зависящим от расстояния от точки фокусировки.

 

     

Уже неплохо! Мы проанализировали рынок и нашли несколько приложений, которые делают подобное на двухкамерных iPhone, а тут то же самое, но на обычных.

Подумали и об Android-юзерах, запустив параллельную разработку под эту платформу.

    

Но, как говорится, аппетит приходит во время еды, и через пару недель игры с глубиной мы поняли, что это хоть и классная фишка, но можно сделать ещё интереснее.

Увидели, что Facebook позволяет добавлять 3D-фото в ленту, и поняли, что мы можем расширить кратно число пользователей этой функциональности, добавив туда владельцев не самых современных устройств и армию пользователей Android.

      

В общем, и эту функцию сделали и поняли, что теперь точно должно взлететь. Правда, по пути выяснилось, что Facebook блокирует загрузку 3D-фото по устройству и разрешает это делать только двухкамерным iPhone.

Нас это опечалило, но кто знает, может быть, ситуация ещё поменяется. Ну и другие сервисы, например, Telegram, возможно, не останутся в стороне :)

Будем рады любым комментариям и предложениям по новым функциям для приложения.

Скачать DPTH можно отсюда.

P.S. Эффекты настройки глубины резкости постфактум недоступны даже для топовых iPhone с двумя камерами, так что обладатели топовых устройств, не проходите мимо, вас нам тоже есть чем удивить :)

20
undefined
iPhones.ru
Мы в RoadAR занимаемся больше транспортной тематикой, у нас есть мобильное приложение-видеорегистратор, которое распознаёт дорожные знаки и помогает не нарушать. Им мы занимаемся уже довольно давно и развиваем в историю со сбором HD-карт для беспилотных машин. Если коротко — идея в том, чтобы водители получали полезный сервис формата ADAS (Advanced Driver Assistance System, система продвинутой...

Войди и оставь комментарий

Или войди с помощью

<- Назад Забыли пароль? Войти
  1. iWolf avatar
    iWolf 3 марта 2019
    6

    Месяц бесплатным сделайте, там посмотрим. А то подписка жирная очень.

    Trooper avatar
    Trooper3 марта 2019
    0

    @iWolf, там три дня бесплатно.

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @iWolf, Там сейчас super early bird скидка, 70% на PRO версию навсегда. Можно взять пробную на месяц, потом сразу отменить покупку. Потестировать, и если приложение интересно – взять super early bird.

    Войди на сайт, чтобы ответить
    Ответить
  2. Andrei Gorbatiuc avatar
    Andrei Gorbatiuc 3 марта 2019
    6

    3 дня?? Откуда эта жадность в вас?? Нет, спасибо, обойдусь

    @lexandr avatar
    @lexandr3 марта 2019
    1

    @Andrei Gorbatiuc, ну русские же. На Adobe и то больше.

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @@lexandr, 3 дня это обычная практика =) Приложение для нас – сайд проект. Чтобы его развивать дальше – надо на нем зарабатывать. Тем более, часть функционала бесплатна. Возможно, и для 3D сделаем возможность попробовать в ограниченном режиме на более долгий срок.

    pLoskutov avatar
    pLoskutov3 марта 2019
    0

    @Evgeny Nikolskiy, положите его в тестфлай – и людям не обломно, и вам фидбэк (актуально для новых проектов)

    Войди на сайт, чтобы ответить
    Ответить
  3. @lexandr avatar
    @lexandr 3 марта 2019
    2

    Кстати на их «супер» приложение упомянутое в статье так себе отзывы.

    Войди на сайт, чтобы ответить
    Ответить
  4. Suslikov avatar
    Suslikov 3 марта 2019
    0

    Вопрос: кому и зачем нужны 3D фото?

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @Suslikov, например, для представления каких-либо товаров и изделий в более эффектном виде. В ленте ФБ они тоже выглядят интересно. Погуглите LYTRO, там это возведено в абсолют

    Войди на сайт, чтобы ответить
    Ответить
  5. Phonerz avatar
    Phonerz 3 марта 2019
    1

    Вот дернуло меня поверить, что приложение использует нейросеть и массив фотографий для создания 3D, совершил ошибку, купил приложение. Но, настраивать глубину резкости можно и стандартным приложением Фото в iOS 12 и iPhone Xs. А эффект 3D по глубине резкости, весь смазанный. В общем, если сделаете что-то подобное как приложение Capture но для фронтальной камеры, будет тогда интересно, тогда и куплю. А сейчас пишу Apple Refund.

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @Phonerz, Нейросеть использует, массив фотографий нет. А можете подробнее описать интересный Вам функционал?

    Phonerz avatar
    Phonerz3 марта 2019
    1

    @Evgeny Nikolskiy, используя информацию от сдвоенный камеры для создания 3D объекта. И используя TrueDepth как это сделано в приложении. Capture. Просто вы сейчас просите деньги за функционал, который владельцам только старых iPhone и iPhone до Xs будет интересен. И ещё будет хорошей идеей предлагать пользователю рисовать по глубине резкости для контроля пространства которое попало в фокус.

    Войди на сайт, чтобы ответить
    Ответить
Помни о правилах — если начал оффтопить, то не удивляйся потом.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.