Как мы сделали Dpth: приложение, создающее 3D-фото с любого iPhone

Marat Bashlikov avatar | 20
FavoriteLoading В закладки
Как мы сделали Dpth: приложение, создающее 3D-фото с любого iPhone

Мы в RoadAR занимаемся больше транспортной тематикой, у нас есть мобильное приложение-видеорегистратор, которое распознаёт дорожные знаки и помогает не нарушать. Им мы занимаемся уже довольно давно и развиваем в историю со сбором HD-карт для беспилотных машин.

Если коротко — идея в том, чтобы водители получали полезный сервис формата ADAS (Advanced Driver Assistance System, система продвинутой помощи водителю), при этом собирали постоянно обновляемые карты дорог высокого разрешения для беспилотных машин.

Эта технология называется SLAM (Simultaneous Localization And Mapping, одновременное картирование и локализация). Простите за обилие терминов, но без них тут сложно объяснить.

Так вот, когда мы делаем SLAM с одной камеры, алгоритму очень сложно инициализироваться, понять примерное расстояние до объектов, особенно на большой скорости на трассе.

Для решения этой проблемы мы решили использовать нейронные сети, которые в последнее время невероятно круто развиваются. В итоге (не без боли и страданий) у нас это получилось, более того, мы смогли заставить всё это работать на смартфоне.

Проблема с инициализацией ушла и это позволило нам продвинуться ещё на шаг вперёд в деле создания карт силами сообщества.

Но увидев результаты работы сети на обычных фото, мы решили, что просто не можем не поделиться с миром возможностью получать 3D из единственной картинки, снятой с одной камеры.

Так и появилась идея приложения D P T H (от слова depth — «глубина»).

Продукт

Мы решили начать с простого эффекта глубины резкости в зависимости от расстояния. То есть картинка должна размываться с радиусом, зависящим от расстояния от точки фокусировки.

 

     

Уже неплохо! Мы проанализировали рынок и нашли несколько приложений, которые делают подобное на двухкамерных iPhone, а тут то же самое, но на обычных.

Подумали и об Android-юзерах, запустив параллельную разработку под эту платформу.

    

Но, как говорится, аппетит приходит во время еды, и через пару недель игры с глубиной мы поняли, что это хоть и классная фишка, но можно сделать ещё интереснее.

Увидели, что Facebook позволяет добавлять 3D-фото в ленту, и поняли, что мы можем расширить кратно число пользователей этой функциональности, добавив туда владельцев не самых современных устройств и армию пользователей Android.

      

В общем, и эту функцию сделали и поняли, что теперь точно должно взлететь. Правда, по пути выяснилось, что Facebook блокирует загрузку 3D-фото по устройству и разрешает это делать только двухкамерным iPhone.

Нас это опечалило, но кто знает, может быть, ситуация ещё поменяется. Ну и другие сервисы, например, Telegram, возможно, не останутся в стороне :)

Будем рады любым комментариям и предложениям по новым функциям для приложения.

Скачать DPTH можно отсюда.

P.S. Эффекты настройки глубины резкости постфактум недоступны даже для топовых iPhone с двумя камерами, так что обладатели топовых устройств, не проходите мимо, вас нам тоже есть чем удивить :)

1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (23 голосов, общий рейтинг: 3.39 из 5)
undefined
iPhones.ru
Мы в RoadAR занимаемся больше транспортной тематикой, у нас есть мобильное приложение-видеорегистратор, которое распознаёт дорожные знаки и помогает не нарушать. Им мы занимаемся уже довольно давно и развиваем в историю со сбором HD-карт для беспилотных машин. Если коротко — идея в том, чтобы водители получали полезный сервис формата ADAS (Advanced Driver Assistance System, система продвинутой...
Прокомментировать

🙈 Комментарии 20

  1. iWolf avatar
    iWolf3 марта 2019
    6

    Месяц бесплатным сделайте, там посмотрим. А то подписка жирная очень.

    Trooper avatar
    Trooper3 марта 2019
    0

    @iWolf, там три дня бесплатно.

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @iWolf, Там сейчас super early bird скидка, 70% на PRO версию навсегда. Можно взять пробную на месяц, потом сразу отменить покупку. Потестировать, и если приложение интересно – взять super early bird.

  2. Andrei Gorbatiuc avatar
    Andrei Gorbatiuc3 марта 2019
    6

    3 дня?? Откуда эта жадность в вас?? Нет, спасибо, обойдусь

    @lexandr avatar
    @lexandr3 марта 2019
    1

    @Andrei Gorbatiuc, ну русские же. На Adobe и то больше.

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @@lexandr, 3 дня это обычная практика =) Приложение для нас – сайд проект. Чтобы его развивать дальше – надо на нем зарабатывать. Тем более, часть функционала бесплатна. Возможно, и для 3D сделаем возможность попробовать в ограниченном режиме на более долгий срок.

    pLoskutov avatar
    pLoskutov3 марта 2019
    0

    @Evgeny Nikolskiy, положите его в тестфлай – и людям не обломно, и вам фидбэк (актуально для новых проектов)

  3. @lexandr avatar
    @lexandr3 марта 2019
    2

    Кстати на их «супер» приложение упомянутое в статье так себе отзывы.

  4. Suslikov avatar
    Suslikov3 марта 2019
    0

    Вопрос: кому и зачем нужны 3D фото?

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @Suslikov, например, для представления каких-либо товаров и изделий в более эффектном виде. В ленте ФБ они тоже выглядят интересно. Погуглите LYTRO, там это возведено в абсолют

  5. Phonerz avatar
    Phonerz3 марта 2019
    1

    Вот дернуло меня поверить, что приложение использует нейросеть и массив фотографий для создания 3D, совершил ошибку, купил приложение. Но, настраивать глубину резкости можно и стандартным приложением Фото в iOS 12 и iPhone Xs. А эффект 3D по глубине резкости, весь смазанный. В общем, если сделаете что-то подобное как приложение Capture но для фронтальной камеры, будет тогда интересно, тогда и куплю. А сейчас пишу Apple Refund.

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @Phonerz, Нейросеть использует, массив фотографий нет. А можете подробнее описать интересный Вам функционал?

    Phonerz avatar
    Phonerz3 марта 2019
    1

    @Evgeny Nikolskiy, используя информацию от сдвоенный камеры для создания 3D объекта. И используя TrueDepth как это сделано в приложении. Capture. Просто вы сейчас просите деньги за функционал, который владельцам только старых iPhone и iPhone до Xs будет интересен. И ещё будет хорошей идеей предлагать пользователю рисовать по глубине резкости для контроля пространства которое попало в фокус.

  6. rukamaster avatar
    rukamaster3 марта 2019
    2

    круто конечно, но покупать я конечно же это не буду, ибо нахрен не нужно. Проще видео снять, со всех сторон.

    Evgeny Nikolskiy avatar
    Evgeny Nikolskiy3 марта 2019
    0

    @rukamaster, Приложение может оживить и старые фото =) Могут получиться интересные эффекты. Попробуйте, может быть понравится =)

  7. Seva2006 avatar
    Seva20063 марта 2019
    2

    у меня есть, точнее был ваш первый программный опыт, который вы совсем забросили, взяли деньги и просто бросили клиентов, ужасного качества картинка (на сегодняшний день), устаревшие данные, подлагивания просто стали постоянными осенью, вот сейчас прочитал статью решил нука глянем что там, а тут нате зарасти, вообще не открывается и вылетает (айфон 8+ на последней прошивке).

    так что стиль написания текста вызывает позитивные эмоции, но ваша работа такого не дает, к сожалению, так что данный продукт даже пробовать не буду

  8. extratunes avatar
    extratunes4 марта 2019
    2

    Дааааа…. провёл денёк на форуме в 4пда в разделе андроид. Пока там народ из камер в бюджетных смартфонах вытягивают супердетализированные фотки, вскрывая прошивки и меняя их код, тут уже люди деградировали – статья как мы создали свистелку-перделку……..
    А может я не прав? И в этом какой-то скрытый полезный смысл (нет)? Судите сами:)

  9. Seung-Hyun Choi avatar
    Seung-Hyun Choi4 марта 2019
    0

    Не нравиться мне подписки. Добавьте еще функцию купить ПРО раз и навсегда!

  10. Reuel avatar
    Reuel4 марта 2019
    0

    Попробовал, ну честно говоря не получилось сделать ни одной фотки надлежащего качества

  11. Conformista avatar
    Conformista4 марта 2019
    0

    подсчитайте, сколько у людей подписок в среднем и оставьте эту разработку, если она вам не по карману

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь