Halide показала, как камера iPhone SE делает потрясающие портретные фото полностью программно

Артём Баусов avatar | 16
FavoriteLoading В закладки
Halide показала, как камера iPhone SE делает потрясающие портретные фото полностью программно

Новый iPhone SE — это первый айфон, который предлагает полностью программно созданный портретный режим.

Как мы уже выяснили, в SE установлена камера из iPhone 8, у которого нет продвинутых возможностей фотографии. Однако новинка умеет делать «оценку глубины монокулярного изображения», то есть создавать портреты в 2D-картинке.

Как отмечает разработчик Halide Бен Сандофски, у камеры недорогого айфона нет аппаратной поддержки этой функции, поэтому вытягивать картинку приходится целиком софтом. Тот же iPhone XR работает с изображениями иначе, на аппаратно-программном уровне.

В Halide обнаружили, что в отличие от других айфонов, iPhone‌ SE может сфотографировать картинку и попытаться разработать карту глубины. Их приложение даже смогло наложить эффекты на фото 50-летней давности.


Слева направо: без эффектов, карта глубины, обработанный портретный режим


Слева направо: без эффектов, карта глубины, обработанный портретный режим

Портретный режим в новом SE поддерживает только фото людей, он не видит предметы и животных. Это связано с некоторыми принципами работы нейросетей.

На снимках без людей выстраиваивается лишь приблизительная карта глубины, которая не позволяет полностью выделить объект в кадре. Особенно, если перед объективом много лишнего. [MacRumors]

1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (20 голосов, общий рейтинг: 4.60 из 5)
Мы в Telegram
Форум
Избранное
Теги: Новости
(ещё...)
Теги: Новости
(ещё...)
undefined
iPhones.ru
Это поразительно.
Артём Баусов avatar

Артём Баусов

Главный по новостям, кликбейту и опечаткам. Люблю электротехнику и занимаюсь огненной магией. По всем вопросам пишите в Telegram: @TemaBausov

👀 Читайте также. Всё по теме

#Обзоры
Прокомментировать

🙈 Комментарии 16

Получать комментарии к этому посту по электронной почте.
  1. ProtcessusVitelius avatar
    ProtcessusVitelius28 апреля 2020
    3

    «Портретный режим в новом SE поддерживает только фото людей, он не видит предметы и животных. Это связано с некоторыми принципами работы нейросетей.»
    камеру XR можно обмануть, например на куклу навести и получить глубину кадра
    вообще вся эта история выглядит просто как нежелание довести нейросети до уровня обработки любого предмета, на деле получится что вся история с сотней глазков на самом деле тупиковый путь и все можно решить немного(в видимом уголовном размере) увеличив площадь глазка одной камеры + доработав сетку, тут тебе и боке и нормальный ночной режим, но видимо инженеры идут по частично экстенсивному пути

    pLoskutov avatar
    pLoskutov28 апреля 2020
    1

    @ProtcessusVitelius, с вы не думали что нейросетка обучается на второй камере или на лидаре!?
    Как она будет обучаться, если люди не будут править карту глубины на КАЖДОЙ фотке?!

    KOCMOHABT avatar
    KOCMOHABT28 апреля 2020
    0

    @pLoskutov, инженерам есть куда расти и без 10 камер и лидара, почитайте про пленоптические камеры и про работу сенсора у GPixel

    pLoskutov avatar
    pLoskutov28 апреля 2020
    0

    @KOCMOHABT, и что? У него кто контролирует безошибочность глупины кадра?

    Roman avatar
    Roman28 апреля 2020
    2

    @KOCMOHABT, так пленоптические камеры на том же принципе, только вместо нескольких камер там много линз на той же матрице. И да, глубину резкости то построишь, но потеряешь в разрешении и светосиле. Физику не обманешь ?

    Rosario avatar
    Rosario30 апреля 2020
    0

    @Roman, во, точно. Тоже про lytro вспомнил

    ProtcessusVitelius avatar
    ProtcessusVitelius28 апреля 2020
    0

    @pLoskutov, я всего лишь исхожу из моего личного опыта на примере того что нейроблок A12 «хавает» простую куклу дедушки, которая весьма условно похожа на человека, это означает что программные алгоритмы позволяют нейросети обрабатывать относительно антропоморфные предметы, почему не довести до обработки любого предмета, в чем фундаментальные ограничения? доработать алгоритм для сетки? или просто не желают мучать такой гибрид и двигаются в сторону более «прямого» варианта из 2+ камер?

    pLoskutov avatar
    pLoskutov28 апреля 2020
    0

    @ProtcessusVitelius, вы знаете как происходит обучений нейросети?
    Кто и как будет контролировать её?

  2. pLoskutov avatar
    pLoskutov28 апреля 2020
    1

    Вывод – фтопку телефон с одной камерой!
    Xs за те же деньги в разы лучше, если не считать стоимости ремонта :(

    mag88 avatar
    mag8828 апреля 2020
    8

    @pLoskutov, да зачем сравнивать, se хорош размером и весом, не нравится, что морально старый бери xs, ты при бабках бери 11 про, тебе нужна 2я мобила чтоб валялась бери 11 про и se, хочешь планшет еще – бери, хочешь дурацкий мэджик киборд тоже бери, а если не хочешь, то не бери, но а если есть желание и деньги, то бери все и кайфуй

    Whiteman avatar
    Whiteman28 апреля 2020
    0

    @pLoskutov, Где ты увидел iPhone XS за 40 тыс, знаток?

    Trooper avatar
    Trooper28 апреля 2020
    0

    @Whiteman, да странное сравнение тел за 40 и за 55. Но он «знаток» ему можно ))

    alexshu avatar
    alexshu28 апреля 2020
    2

    @Trooper, вчера на тмолл на али можно было xs за 45 взять.

    pLoskutov avatar
    pLoskutov28 апреля 2020
    0

    @Whiteman, в магазинах 48 (не большая разница то за такие разные телефоны)
    На рынках и алишке 42
    На авито так вообще смех (сквозь слезы)

    C0nfy avatar
    C0nfy28 апреля 2020
    0

    @pLoskutov, что на авито?

  3. walkman00 avatar
    walkman0030 апреля 2020
    0

    Ну так включите этот режим в восьмерке

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь
ng (at) iphones.ru
Никита Горяинов
Главный редактор

Микк Сид
Шеф-редактор
Задай вопрос - получи ответ
👈 капча обязательна
Отправить
Вопрос принят

В ближайшее время ожидайте ответ на нашем сайте :)

Вопрос не принят

Разрешите свои конфликты с google, он вас не пускает :(