Мы запустили приложение FaceHero. Оно создаёт 3D-аватар по одной фотографии

Alexander avatar | 48
FavoriteLoading В закладки
Мы запустили приложение FaceHero. Оно создаёт 3D-аватар по одной фотографии

Всем привет! Меня зовут Александр, и я один из разработчиков компании itSeez3D, где мы занимаемся крутыми алгоритмами компьютерного зрения. Нашим первым продуктом было приложение под iPad, которое с помощью внешнего 3D-сенсора сканирует людей, объекты и помещения.

У нас получались очень хорошие результаты: качественная RGB текстура, маленькая погрешность в геометрии моделей. Но мы были ограничены количеством 3D-сенсоров на рынке, так как без них мы работать не могли.

Мы захотели расширить рынок потенциальных пользователей. Так родилась идея нового приложения…

Встречайте, FaceHero – приложение для создания 3D-аватаров по фото

Сделали приложение, способное сгенерировать 3D-аватар c помощью всего одной фотографии лица. Причем необязательно с данными от TrueDepth-камеры в iPhone X/Xs/XR.

Для этого мы разработали нейросети, которые умеют превращать селфи в трехмерные бюсты людей с отличной текстурой. Пример работы ниже, это Киану Ривз по одной фотке из Google:


You’re breathtaking!

На этом мы не остановились. Сначала мы сделали, чтобы аватар можно было анимировать. Наши 3D-художники создали несколько анимаций разных эмоций: например, аватар может послать воздушный поцелуй или сильно разозлиться.

А еще можно анимировать аватары в режиме реального времени – вы подмигиваете или что-то говорите, а он повторяет за вами (так же, как в Animoji и Memoji).

Еще у нас есть режим AR: можно, например, поставить анимированный аватар прямо на ваш стол.

Персональные данные защищены вашим же устройством

После того, как мы уже выпустили пару релизов, Apple категорически отказалась одобрять новую версию и сказала, что теперь мы должны все вычисления проводить локально, без использования сервера.

Для нас это означало, что нужно все наши алгоритмы, включая большие нейронные сети, и ресурсы для генерации модели перенести с сервера на телефон.

К тому же мы хотели сделать приложение меньше 150Mb, чтобы пользователи имели возможность скачивать его без использования WiFi.

В итоге их требование сделало наше приложение только лучше. Данные пользователей теперь не покидают устройства, а вычисления получилось сильно оптимизировать – так что на iPhone X они работают быстрее 25 секунд, а раньше было около 40 из-за отправки фотографии и скачивания модели.

Плюс весь процесс портирования на устройство занял у нас значительно меньше времени, чем мы предполагали.

Из аватаров можно даже сделать стикеры

Мы посмотрели на то, как люди используют наш продукт и поняли, что пользователи часто шарят эмоции, например в сообщениях.

Поэтому мы сами сгенерировали красивые стикеры по аватару, которые удобно шарить в различные приложения и выделили эту функциональность в отдельное приложение FaceHero Stickers.

Для iMessage мы сделали плагин, с помощью которого можно в одно касание отправить стикер. Еще мы добавили в iOS клавиатуру стикеров для всех остальных приложений, а в следующей версии можно будет импортировать весь набор стикеров в WhatsApp.

Наши планы на будущее – продолжать улучшать текстуры и отрисовку моделей и добавить больше крутых анимаций и стикеров.

Все приложения работают без интернета и никуда не отправляют ваши данные. И бесплатно. И без рекламы. И регистрации.

Вот ссылки на них: FaceHero, FaceHero Stickers.

Я буду рад любым комментариям и предложениям по новым функциям или улучшению старых.

P.S. Делайте фотографии в хорошем освещении, аватары будут гораздо лучше ;)

Рейтинг поста:

1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (4.66 из 5, оценили: 35)
🤓 Хочешь больше? Подпишись на наш Telegramнаш Telegram.
... и не забывай читать наш Facebook и Twitter 🍒
FavoriteLoading В закладки

Этот пост написан читателем в разделе Тусовка, где каждый может разместить статью. Начните по этой ссылке. Лучшие посты появятся на iPhones.ru.


P.S. Обязательно прочитайте инструкцию, она поможет.

undefined
iPhones.ru
Всем привет! Меня зовут Александр, и я один из разработчиков компании itSeez3D, где мы занимаемся крутыми алгоритмами компьютерного зрения. Нашим первым продуктом было приложение под iPad, которое с помощью внешнего 3D-сенсора сканирует людей, объекты и помещения. У нас получались очень хорошие результаты: качественная RGB текстура, маленькая погрешность в геометрии моделей. Но мы были ограничены количеством...
Прокомментировать

🙈 Комментарии 48

  1. Oneeugene25 июля в 16:47
    9

    я человек простой, вижу годное приложение – качаю

  2. iZlodey avatar
    iZlodey25 июля в 16:51
    4

    👍 крутую штуку сделали.

    Alexander avatar
    Alexander25 июля в 16:55
    1

    @iZlodey, спасибо;) Осталось всего-то о ней всем рассказать!

  3. Cactusyan avatar
    Cactusyan25 июля в 16:58
    1

    Хочу делать анимированные мемы с участием моих знакомых)
    типа “вот это поворот” 😂

    Alexander avatar
    Alexander25 июля в 17:07
    1

    @Cactusyan, Есть что-то похожее – Morphin. Они используют наши аватары, но другое направление у приложения. (они делают существующие мемы/гифки с сгенерированным аватаром). Я больше концентрировался пока на приложении типо Memoji, только где не надо настраивать аватар и где он должен быть похож на человека. Похож же?)

    Cactusyan avatar
    Cactusyan25 июля в 17:15
    4

    @Alexander, очень похоже. Осталось сделать поменьше “кокаиновые ” зрачки и будет топ. От себя желаю развития данному приложению

    Alexander avatar
    Alexander25 июля в 17:26
    1

    @Cactusyan, спасибо, будем стараться)

    RomanMorozov avatar
    RomanMorozov26 июля в 11:26
    0

    @Alexander, очень круто, но зрачки пугают

  4. Den.R avatar
    Den.R25 июля в 17:00
    0

    Я чуть не 💩 от этих лиц!

    Alexander avatar
    Alexander25 июля в 17:03
    0

    @Den.R, когда сделали 1 аватар, можно поиграться с настройкой “реалистичности/мультяшности”. Когда делаете новую модель из камеры там перед тем как отправить на генерацию появится слайдер (я знаю что это не интуитивно, но такая возможность существует). Мы хотели ее сделать real-time, но это немного сложнее пока оказалось.

  5. iWolf avatar
    iWolf25 июля в 17:02
    4

    Бесплатно, без регистрации, без рекламы, оффлайн.
    Где подвох?

    Alexander avatar
    Alexander25 июля в 17:14
    0

    @iWolf, Там еще и экспортить 3д модель можно для своих нужд! По секрету – мне просто нравятся 5 звездочек в аппсторе;)

    b0rsh avatar
    b0rsh25 июля в 17:58
    2

    @iWolf, потом влепят подписку за 1399 в месяц, сейчас только базу наберут.

    Alexander avatar
    Alexander25 июля в 18:08
    1

    @b0rsh, Пока в планах не было) Мы продаем наш СДК для генерации аватаров для других компаний, а этот проект показывает что мы умеем.

  6. HauB avatar
    HauB25 июля в 17:04
    7

    У каждого аватара глаза как у окуня, будто срать, пардон, хочет.

    Alexander avatar
    Alexander25 июля в 17:09
    1

    @HauB, Спасибо за фидбек;) Сейчас по-умолчанию коэффициент мультяшности – 0.5. (Его можно поменять при генерации аватара) Как только мы поймем, что другой лучше (и сделаем рендеринг глаз лучше) – мы его поменяем, на тот, что больше нравится народу.

    Oneeugene25 июля в 17:17
    1

    @Alexander, друже, анимация в Whatsapp не экспортируется(

    Alexander avatar
    Alexander25 июля в 17:31
    0

    @Oneeugene, через кнопку WhatsApp на первой странице или через опции шаринга анимации? Если через 1 то так и должно быть, там экспортируется стикер пак (анимации в стикерах они не поддерживают), а через 2 – я проверю и исправлю. Вроде работало;)

    Oneeugene25 июля в 17:38
    0

    @Alexander, как раз через шаринг не хочет отправлять видео

    Alexander avatar
    Alexander25 июля в 17:49
    1

    @Oneeugene, спасибо за фидбек, исправлю в апдейте)

  7. Cactusyan avatar
    Cactusyan25 июля в 17:06
    1

    Вопрос, если использовать фото обнаженного человека, фигурка такая же будет ?)

    Alexander avatar
    Alexander25 июля в 17:17
    2

    @Cactusyan, да. И да, напомню, на сервер персональные данные не отправляется. Все вычисления только на девайсе. (это было требование Apple для нас)

  8. joker2k2 avatar
    joker2k225 июля в 17:25
    0

    надо было назвать приложение WeirdEyes

    Alexander avatar
    Alexander25 июля в 17:29
    1

    @joker2k2, <3. Добавлю как feature request! На самом деле тут была проблема. Если делать натуральные глаза (с фотки) – плохо смотрятся анимации. Если генерировать их самому – тяжело попасть в освещение. Мы решили сделать генерированные и постепенно их улучшать. В итоге должно стать лучше.

  9. zarkad avatar
    zarkad25 июля в 18:08
    0

    Сняли почему-то 70 руб за бесплатно. Как так?

    Alexander avatar
    Alexander25 июля в 18:11
    0

    @zarkad, Если это ваша первая покупка с данной карты – Apple может таким образом проверить вашу привязанную карту взяв от туда 1 доллар и вернув его. Мое приложение всегда было бесплатным и сейчас бесплатное. Так что, к сожалению, деньги ушли не мне!) Вы всегда можете написать в Apple об этом.

    zarkad avatar
    zarkad25 июля в 18:36
    1

    @Alexander, скорее всего проверяют карту. Зашел в свои покупки, ваши программы действительно стоят 0 руб. ))

    Alexander avatar
    Alexander25 июля в 18:43
    0

    @zarkad, Искренне надеюсь, что вы еще не успели поставить 1 и написать, что мы плохое люди в ревью!;) Как вам приложение?

    amyskin25 июля в 19:14
    1

    @Alexander, Это моя не первая покупка, но тоже заблокировали и потом вернули. Приложение хорошее.

  10. L@V avatar
    [email protected]25 июля в 18:21
    0

    Не совсем понял про глаза. Они будут улучшены в следующих обновлениях или алгоритм программы с каждым новым снимком их сам абгрейдит?

    Alexander avatar
    Alexander25 июля в 18:26
    1

    @[email protected], в следующих обновлениях будет улучшено. Мы сейчас работаем с несколькими 3д аниматорами/дизайнерами и надеемся, что скоро они станут более человеческие) Но даже сейчас, если делать фото “как на паспорт” должны получаться красивые аватары. Все скриншоты в аппсторе были без какой-либо постобработки.

    L@V avatar
    [email protected]25 июля в 18:28
    1

    @Alexander, спасибо за приложение!

  11. Phonerz avatar
    Phonerz25 июля в 18:31
    0

    У девушки на картинке откуда-то лишних 20 кило жира взялось. Какое-то жирнящее приложение. Да и могли-бы использовать 2 фотографии с разных ракурсов + есть приложение Capture которое задействует TrueDepth. Тогда результат был-бы совсем интересен качеством. Вспоминается приложение 3dMEnow из середины 2000-х.

    Alexander avatar
    Alexander25 июля в 18:37
    0

    @Phonerz, в идеале – 1 фотки должно быть достаточно. Заставлять снимать пользователя несколько фоток – не user friendly. + сложно попробовать на знакомых или просто рандомных фотках. Для True depth мы скоро сделаем приложение лучше;)

    Phonerz avatar
    Phonerz25 июля в 18:42
    1

    @Alexander, я о том, что качество можно было бы таким образом улучшить.

    Alexander avatar
    Alexander25 июля в 18:46
    0

    @Phonerz, А, типо если пользователь хочет – то предложить ему снять еще пару фоток, чтобы улучшить аватар. – Да, мы подумаем, может такой режим получится добавить. Возможно, мы еще будет на iPhone X+ получать True Depth и таким образом улучшим аватары.

  12. anatolPasha avatar
    anatolPasha25 июля в 18:57
    1

    аватары как у восставших из ада

    C0nfy avatar
    C0nfy25 июля в 21:49
    0

    @anatolPasha, во-во. Задумка, может и могла быть норм, но реализация, на уровне “дети против волшебников” 🤢

    Alexander avatar
    Alexander25 июля в 22:05
    0

    @C0nfy, вам не нравятся аватары из статьи тоже? Если они норм, то попробуйте сделать в хорошем освещении “фотку как на паспорт”.

  13. Костя А avatar
    Костя А25 июля в 19:37
    1

    Когда ждать версию под Android?

    Alexander avatar
    Alexander26 июля в 11:20
    0

    @Костя А, когда у нас появится Android разработчик;) Надеюсь скоро

  14. dankz26 июля в 4:20
    0

    У меня другой вопрос по глазам: почему голубые глаза стали карими?

    Alexander avatar
    Alexander26 июля в 11:17
    0

    @dankz, освещение с фотографии часто может немного поменять цвет радужки. Мы пытаемся его угадать, но иногда не получается;)

  15. Probkin avatar
    Probkin26 июля в 9:36
    1

    А в телегу будет экспорт?

    Alexander avatar
    Alexander26 июля в 11:18
    0

    @Probkin, экспорт отдельного стикера – уже можно делать. Экспорт целого стикерпака – мы добавим.

  16. _daniv_26 июля в 17:05
    0

    Александр, как с вами удобнее всего связаться?

    Alexander avatar
    Alexander26 июля в 17:22
    0

    @_daniv_, Плохо оставлять в открытом месте свою почту. Вот сгенерированная – [email protected] ;)

  17. GoLdeN MaStEr7 сентября в 7:57
    0

    Подождите-ка, выходит, это сильно облегчит работу разработчикам игр(в будущем конечно, сейчас это больше похоже на НПС в гта са) А можно будет в WhatsApp’е скидывать анимированные аватары? + Самый Главный Вопрос Дня : Долго ли придется ждать выхода приложение на рынки Play Market’а? И выйдет ли вообще?

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь