Как мы сделали Dpth: приложение, создающее 3D-фото с любого iPhone

| 20
FavoriteLoading В закладки
Как мы сделали Dpth: приложение, создающее 3D-фото с любого iPhone

Мы в RoadAR занимаемся больше транспортной тематикой, у нас есть мобильное приложение-видеорегистратор, которое распознаёт дорожные знаки и помогает не нарушать. Им мы занимаемся уже довольно давно и развиваем в историю со сбором HD-карт для беспилотных машин.

Если коротко — идея в том, чтобы водители получали полезный сервис формата ADAS (Advanced Driver Assistance System, система продвинутой помощи водителю), при этом собирали постоянно обновляемые карты дорог высокого разрешения для беспилотных машин.

Эта технология называется SLAM (Simultaneous Localization And Mapping, одновременное картирование и локализация). Простите за обилие терминов, но без них тут сложно объяснить.

Так вот, когда мы делаем SLAM с одной камеры, алгоритму очень сложно инициализироваться, понять примерное расстояние до объектов, особенно на большой скорости на трассе.

Для решения этой проблемы мы решили использовать нейронные сети, которые в последнее время невероятно круто развиваются. В итоге (не без боли и страданий) у нас это получилось, более того, мы смогли заставить всё это работать на смартфоне.

Проблема с инициализацией ушла и это позволило нам продвинуться ещё на шаг вперёд в деле создания карт силами сообщества.

Но увидев результаты работы сети на обычных фото, мы решили, что просто не можем не поделиться с миром возможностью получать 3D из единственной картинки, снятой с одной камеры.

Так и появилась идея приложения D P T H (от слова depth — «глубина»).

Продукт

Мы решили начать с простого эффекта глубины резкости в зависимости от расстояния. То есть картинка должна размываться с радиусом, зависящим от расстояния от точки фокусировки.

 

     

Уже неплохо! Мы проанализировали рынок и нашли несколько приложений, которые делают подобное на двухкамерных iPhone, а тут то же самое, но на обычных.

Подумали и об Android-юзерах, запустив параллельную разработку под эту платформу.

    

Но, как говорится, аппетит приходит во время еды, и через пару недель игры с глубиной мы поняли, что это хоть и классная фишка, но можно сделать ещё интереснее.

Увидели, что Facebook позволяет добавлять 3D-фото в ленту, и поняли, что мы можем расширить кратно число пользователей этой функциональности, добавив туда владельцев не самых современных устройств и армию пользователей Android.

      

В общем, и эту функцию сделали и поняли, что теперь точно должно взлететь. Правда, по пути выяснилось, что Facebook блокирует загрузку 3D-фото по устройству и разрешает это делать только двухкамерным iPhone.

Нас это опечалило, но кто знает, может быть, ситуация ещё поменяется. Ну и другие сервисы, например, Telegram, возможно, не останутся в стороне :)

Будем рады любым комментариям и предложениям по новым функциям для приложения.

Скачать DPTH можно отсюда.

P.S. Эффекты настройки глубины резкости постфактум недоступны даже для топовых iPhone с двумя камерами, так что обладатели топовых устройств, не проходите мимо, вас нам тоже есть чем удивить :)

Рейтинг поста:

1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (3.36 из 5, оценили: 22)
🤓 Хочешь больше? Подпишись на наш Telegramнаш Telegram.
... и не забывай читать наш Facebook и Twitter 🍒
FavoriteLoading В закладки

Этот пост написан читателем в разделе Тусовка, где каждый может разместить статью. Начните по этой ссылке. Лучшие посты появятся на iPhones.ru.


P.S. Обязательно прочитайте инструкцию, она поможет.

undefined
iPhones.ru
Мы в RoadAR занимаемся больше транспортной тематикой, у нас есть мобильное приложение-видеорегистратор, которое распознаёт дорожные знаки и помогает не нарушать. Им мы занимаемся уже довольно давно и развиваем в историю со сбором HD-карт для беспилотных машин. Если коротко — идея в том, чтобы водители получали полезный сервис формата ADAS (Advanced Driver Assistance System, система продвинутой...
Прокомментировать

🙈 Комментарии 20

  1. iWolf avatar
    iWolf3 марта в 19:17
    6

    Месяц бесплатным сделайте, там посмотрим. А то подписка жирная очень.

    Trooper avatar
    Trooper3 марта в 19:34
    0

    @iWolf, там три дня бесплатно.

    Evgeny Nikolskiy3 марта в 20:21
    0

    @iWolf, Там сейчас super early bird скидка, 70% на PRO версию навсегда. Можно взять пробную на месяц, потом сразу отменить покупку. Потестировать, и если приложение интересно – взять super early bird.

  2. Andrei Gorbatiuc3 марта в 19:59
    6

    3 дня?? Откуда эта жадность в вас?? Нет, спасибо, обойдусь

    @lexandr avatar
    @lexandr3 марта в 20:03
    1

    @Andrei Gorbatiuc, ну русские же. На Adobe и то больше.

    Evgeny Nikolskiy3 марта в 20:24
    0

    @@lexandr, 3 дня это обычная практика =) Приложение для нас – сайд проект. Чтобы его развивать дальше – надо на нем зарабатывать. Тем более, часть функционала бесплатна. Возможно, и для 3D сделаем возможность попробовать в ограниченном режиме на более долгий срок.

    pLoskutov avatar
    pLoskutov3 марта в 23:36
    0

    @Evgeny Nikolskiy, положите его в тестфлай – и людям не обломно, и вам фидбэк (актуально для новых проектов)

  3. @lexandr avatar
    @lexandr3 марта в 20:09
    2

    Кстати на их «супер» приложение упомянутое в статье так себе отзывы.

  4. Suslikov avatar
    Suslikov3 марта в 20:36
    0

    Вопрос: кому и зачем нужны 3D фото?

    Evgeny Nikolskiy3 марта в 20:48
    0

    @Suslikov, например, для представления каких-либо товаров и изделий в более эффектном виде. В ленте ФБ они тоже выглядят интересно. Погуглите LYTRO, там это возведено в абсолют

  5. Phonerz avatar
    Phonerz3 марта в 21:00
    1

    Вот дернуло меня поверить, что приложение использует нейросеть и массив фотографий для создания 3D, совершил ошибку, купил приложение. Но, настраивать глубину резкости можно и стандартным приложением Фото в iOS 12 и iPhone Xs. А эффект 3D по глубине резкости, весь смазанный. В общем, если сделаете что-то подобное как приложение Capture но для фронтальной камеры, будет тогда интересно, тогда и куплю. А сейчас пишу Apple Refund.

    Evgeny Nikolskiy3 марта в 21:11
    0

    @Phonerz, Нейросеть использует, массив фотографий нет. А можете подробнее описать интересный Вам функционал?

    Phonerz avatar
    Phonerz3 марта в 22:12
    1

    @Evgeny Nikolskiy, используя информацию от сдвоенный камеры для создания 3D объекта. И используя TrueDepth как это сделано в приложении. Capture. Просто вы сейчас просите деньги за функционал, который владельцам только старых iPhone и iPhone до Xs будет интересен. И ещё будет хорошей идеей предлагать пользователю рисовать по глубине резкости для контроля пространства которое попало в фокус.

  6. rukamaster avatar
    rukamaster3 марта в 21:15
    2

    круто конечно, но покупать я конечно же это не буду, ибо нахрен не нужно. Проще видео снять, со всех сторон.

    Evgeny Nikolskiy3 марта в 21:23
    0

    @rukamaster, Приложение может оживить и старые фото =) Могут получиться интересные эффекты. Попробуйте, может быть понравится =)

  7. Seva2006 avatar
    Seva20063 марта в 22:46
    2

    у меня есть, точнее был ваш первый программный опыт, который вы совсем забросили, взяли деньги и просто бросили клиентов, ужасного качества картинка (на сегодняшний день), устаревшие данные, подлагивания просто стали постоянными осенью, вот сейчас прочитал статью решил нука глянем что там, а тут нате зарасти, вообще не открывается и вылетает (айфон 8+ на последней прошивке).

    так что стиль написания текста вызывает позитивные эмоции, но ваша работа такого не дает, к сожалению, так что данный продукт даже пробовать не буду

  8. extratunes avatar
    extratunes4 марта в 1:38
    2

    Дааааа…. провёл денёк на форуме в 4пда в разделе андроид. Пока там народ из камер в бюджетных смартфонах вытягивают супердетализированные фотки, вскрывая прошивки и меняя их код, тут уже люди деградировали – статья как мы создали свистелку-перделку……..
    А может я не прав? И в этом какой-то скрытый полезный смысл (нет)? Судите сами:)

  9. Seung-Hyun Choi4 марта в 14:14
    0

    Не нравиться мне подписки. Добавьте еще функцию купить ПРО раз и навсегда!

  10. Reuel avatar
    Reuel4 марта в 14:19
    0

    Попробовал, ну честно говоря не получилось сделать ни одной фотки надлежащего качества

  11. Conformista avatar
    Conformista4 марта в 23:42
    0

    подсчитайте, сколько у людей подписок в среднем и оставьте эту разработку, если она вам не по карману

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь