Новый iPhone SE — это первый айфон, который предлагает полностью программно созданный портретный режим.
Как мы уже выяснили, в SE установлена камера из iPhone 8, у которого нет продвинутых возможностей фотографии. Однако новинка умеет делать «оценку глубины монокулярного изображения», то есть создавать портреты в 2D-картинке.
Как отмечает разработчик Halide Бен Сандофски, у камеры недорогого айфона нет аппаратной поддержки этой функции, поэтому вытягивать картинку приходится целиком софтом. Тот же iPhone XR работает с изображениями иначе, на аппаратно-программном уровне.
В Halide обнаружили, что в отличие от других айфонов, iPhone SE может сфотографировать картинку и попытаться разработать карту глубины. Их приложение даже смогло наложить эффекты на фото 50-летней давности.
Слева направо: без эффектов, карта глубины, обработанный портретный режим
Слева направо: без эффектов, карта глубины, обработанный портретный режим
Портретный режим в новом SE поддерживает только фото людей, он не видит предметы и животных. Это связано с некоторыми принципами работы нейросетей.
На снимках без людей выстраиваивается лишь приблизительная карта глубины, которая не позволяет полностью выделить объект в кадре. Особенно, если перед объективом много лишнего. [MacRumors]
«Портретный режим в новом SE поддерживает только фото людей, он не видит предметы и животных. Это связано с некоторыми принципами работы нейросетей.»
камеру XR можно обмануть, например на куклу навести и получить глубину кадра
вообще вся эта история выглядит просто как нежелание довести нейросети до уровня обработки любого предмета, на деле получится что вся история с сотней глазков на самом деле тупиковый путь и все можно решить немного(в видимом уголовном размере) увеличив площадь глазка одной камеры + доработав сетку, тут тебе и боке и нормальный ночной режим, но видимо инженеры идут по частично экстенсивному пути
@ProtcessusVitelius, с вы не думали что нейросетка обучается на второй камере или на лидаре!?
Как она будет обучаться, если люди не будут править карту глубины на КАЖДОЙ фотке?!
@pLoskutov, инженерам есть куда расти и без 10 камер и лидара, почитайте про пленоптические камеры и про работу сенсора у GPixel
@KOCMOHABT, и что? У него кто контролирует безошибочность глупины кадра?
@KOCMOHABT, так пленоптические камеры на том же принципе, только вместо нескольких камер там много линз на той же матрице. И да, глубину резкости то построишь, но потеряешь в разрешении и светосиле. Физику не обманешь ?
@Roman, во, точно. Тоже про lytro вспомнил
@pLoskutov, я всего лишь исхожу из моего личного опыта на примере того что нейроблок A12 «хавает» простую куклу дедушки, которая весьма условно похожа на человека, это означает что программные алгоритмы позволяют нейросети обрабатывать относительно антропоморфные предметы, почему не довести до обработки любого предмета, в чем фундаментальные ограничения? доработать алгоритм для сетки? или просто не желают мучать такой гибрид и двигаются в сторону более «прямого» варианта из 2+ камер?
@ProtcessusVitelius, вы знаете как происходит обучений нейросети?
Кто и как будет контролировать её?