Halide показала, как камера iPhone SE делает потрясающие портретные фото полностью программно

Это поразительно.
Артём Баусов avatar | 28 апреля 2020
Halide показала, как камера iPhone SE делает потрясающие портретные фото полностью программно

Новый iPhone SE — это первый айфон, который предлагает полностью программно созданный портретный режим.

Как мы уже выяснили, в SE установлена камера из iPhone 8, у которого нет продвинутых возможностей фотографии. Однако новинка умеет делать «оценку глубины монокулярного изображения», то есть создавать портреты в 2D-картинке.

Как отмечает разработчик Halide Бен Сандофски, у камеры недорогого айфона нет аппаратной поддержки этой функции, поэтому вытягивать картинку приходится целиком софтом. Тот же iPhone XR работает с изображениями иначе, на аппаратно-программном уровне.

В Halide обнаружили, что в отличие от других айфонов, iPhone‌ SE может сфотографировать картинку и попытаться разработать карту глубины. Их приложение даже смогло наложить эффекты на фото 50-летней давности.


Слева направо: без эффектов, карта глубины, обработанный портретный режим


Слева направо: без эффектов, карта глубины, обработанный портретный режим

Портретный режим в новом SE поддерживает только фото людей, он не видит предметы и животных. Это связано с некоторыми принципами работы нейросетей.

На снимках без людей выстраиваивается лишь приблизительная карта глубины, которая не позволяет полностью выделить объект в кадре. Особенно, если перед объективом много лишнего. [MacRumors]

16
Логотип iPhones.ru
iPhones.ru
Это поразительно.

16 комментариев

Котик
Котик
Котик
Котик
Котик
Котик
Котик
Котик
Котик
Котик
Котик
Котик
Котик из TikTok
Котик из TikTok
Котик из TikTok
Котик из TikTok
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Момент из фильма
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Мем стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Офис стикер
Видео мем
Видео мем
Видео мем
Видео мем
Видео мем
Видео мем

Какие правила в комментариях
  1. ProtcessusVitelius avatar
    ProtcessusVitelius 28 апреля 2020

    «Портретный режим в новом SE поддерживает только фото людей, он не видит предметы и животных. Это связано с некоторыми принципами работы нейросетей.»
    камеру XR можно обмануть, например на куклу навести и получить глубину кадра
    вообще вся эта история выглядит просто как нежелание довести нейросети до уровня обработки любого предмета, на деле получится что вся история с сотней глазков на самом деле тупиковый путь и все можно решить немного(в видимом уголовном размере) увеличив площадь глазка одной камеры + доработав сетку, тут тебе и боке и нормальный ночной режим, но видимо инженеры идут по частично экстенсивному пути

    Войди на сайт, чтобы ответить
    Ответить
    pLoskutov
    pLoskutov 28 апреля 2020

    @ProtcessusVitelius, с вы не думали что нейросетка обучается на второй камере или на лидаре!?
    Как она будет обучаться, если люди не будут править карту глубины на КАЖДОЙ фотке?!

    Войди на сайт, чтобы ответить
    Ответить
  2. pLoskutov avatar
    pLoskutov 28 апреля 2020

    Вывод – фтопку телефон с одной камерой!
    Xs за те же деньги в разы лучше, если не считать стоимости ремонта :(

    Войди на сайт, чтобы ответить
    Ответить
    mag88
    mag88 28 апреля 2020

    @pLoskutov, да зачем сравнивать, se хорош размером и весом, не нравится, что морально старый бери xs, ты при бабках бери 11 про, тебе нужна 2я мобила чтоб валялась бери 11 про и se, хочешь планшет еще – бери, хочешь дурацкий мэджик киборд тоже бери, а если не хочешь, то не бери, но а если есть желание и деньги, то бери все и кайфуй

    Войди на сайт, чтобы ответить
    Ответить
    Whiteman
    Whiteman 28 апреля 2020

    @pLoskutov, Где ты увидел iPhone XS за 40 тыс, знаток?

    Войди на сайт, чтобы ответить
    Ответить