Всем привет! Меня зовут Александр, и я один из разработчиков компании itSeez3D, где мы занимаемся крутыми алгоритмами компьютерного зрения. Нашим первым продуктом было приложение под iPad, которое с помощью внешнего 3D-сенсора сканирует людей, объекты и помещения.
У нас получались очень хорошие результаты: качественная RGB текстура, маленькая погрешность в геометрии моделей. Но мы были ограничены количеством 3D-сенсоров на рынке, так как без них мы работать не могли.
Мы захотели расширить рынок потенциальных пользователей. Так родилась идея нового приложения…
Встречайте, FaceHero – приложение для создания 3D-аватаров по фото
Сделали приложение, способное сгенерировать 3D-аватар c помощью всего одной фотографии лица. Причем необязательно с данными от TrueDepth-камеры в iPhone X/Xs/XR.
Для этого мы разработали нейросети, которые умеют превращать селфи в трехмерные бюсты людей с отличной текстурой. Пример работы ниже, это Киану Ривз по одной фотке из Google:
You’re breathtaking!
На этом мы не остановились. Сначала мы сделали, чтобы аватар можно было анимировать. Наши 3D-художники создали несколько анимаций разных эмоций: например, аватар может послать воздушный поцелуй или сильно разозлиться.
А еще можно анимировать аватары в режиме реального времени – вы подмигиваете или что-то говорите, а он повторяет за вами (так же, как в Animoji и Memoji).
Еще у нас есть режим AR: можно, например, поставить анимированный аватар прямо на ваш стол.
Персональные данные защищены вашим же устройством
После того, как мы уже выпустили пару релизов, Apple категорически отказалась одобрять новую версию и сказала, что теперь мы должны все вычисления проводить локально, без использования сервера.
Для нас это означало, что нужно все наши алгоритмы, включая большие нейронные сети, и ресурсы для генерации модели перенести с сервера на телефон.
К тому же мы хотели сделать приложение меньше 150Mb, чтобы пользователи имели возможность скачивать его без использования WiFi.
В итоге их требование сделало наше приложение только лучше. Данные пользователей теперь не покидают устройства, а вычисления получилось сильно оптимизировать – так что на iPhone X они работают быстрее 25 секунд, а раньше было около 40 из-за отправки фотографии и скачивания модели.
Плюс весь процесс портирования на устройство занял у нас значительно меньше времени, чем мы предполагали.
Из аватаров можно даже сделать стикеры
Мы посмотрели на то, как люди используют наш продукт и поняли, что пользователи часто шарят эмоции, например в сообщениях.
Поэтому мы сами сгенерировали красивые стикеры по аватару, которые удобно шарить в различные приложения и выделили эту функциональность в отдельное приложение FaceHero Stickers.
Для iMessage мы сделали плагин, с помощью которого можно в одно касание отправить стикер. Еще мы добавили в iOS клавиатуру стикеров для всех остальных приложений, а в следующей версии можно будет импортировать весь набор стикеров в WhatsApp.
Наши планы на будущее – продолжать улучшать текстуры и отрисовку моделей и добавить больше крутых анимаций и стикеров.
Все приложения работают без интернета и никуда не отправляют ваши данные. И бесплатно. И без рекламы. И регистрации.
Вот ссылки на них: FaceHero, FaceHero Stickers.
Я буду рад любым комментариям и предложениям по новым функциям или улучшению старых.
P.S. Делайте фотографии в хорошем освещении, аватары будут гораздо лучше ;)
(39 голосов, общий рейтинг: 4.59 из 5)
57 комментариев
Форум →я человек простой, вижу годное приложение – качаю
? крутую штуку сделали.
@iZlodey, спасибо;) Осталось всего-то о ней всем рассказать!
Хочу делать анимированные мемы с участием моих знакомых)
типа “вот это поворот” ?
@Cactusyan, Есть что-то похожее – Morphin. Они используют наши аватары, но другое направление у приложения. (они делают существующие мемы/гифки с сгенерированным аватаром). Я больше концентрировался пока на приложении типо Memoji, только где не надо настраивать аватар и где он должен быть похож на человека. Похож же?)
@Alexander, очень похоже. Осталось сделать поменьше “кокаиновые ” зрачки и будет топ. От себя желаю развития данному приложению
@Cactusyan, спасибо, будем стараться)
@Alexander, очень круто, но зрачки пугают
Я чуть не ? от этих лиц!
@Den.R, когда сделали 1 аватар, можно поиграться с настройкой “реалистичности/мультяшности”. Когда делаете новую модель из камеры там перед тем как отправить на генерацию появится слайдер (я знаю что это не интуитивно, но такая возможность существует). Мы хотели ее сделать real-time, но это немного сложнее пока оказалось.
Бесплатно, без регистрации, без рекламы, оффлайн.
Где подвох?
@iWolf, Там еще и экспортить 3д модель можно для своих нужд! По секрету – мне просто нравятся 5 звездочек в аппсторе;)
@Alexander, простите, я до конца не могу вкурить.
Вот есть FaceHero и FaceHero Stickers. В чем между ними разница, а если по сути они одинаковые, какое приложение оставить (у какого будет более длительная поддержка)?
@iWolf, В FaceHero будет больше разных фич (например, сейчас там есть 3д editor по кнопке edit) FaceHero stickers это просто быстрый способ был проверить гипотезу, что стикерами будут пользоваться и просто это немного более легковесное приложение, но да, все функции которые в нем есть будут в FaceHero.
@Alexander, благодарю за оперативный ответ!
@iWolf, потом влепят подписку за 1399 в месяц, сейчас только базу наберут.
@b0rsh, Пока в планах не было) Мы продаем наш СДК для генерации аватаров для других компаний, а этот проект показывает что мы умеем.
У каждого аватара глаза как у окуня, будто срать, пардон, хочет.
@HauB, Спасибо за фидбек;) Сейчас по-умолчанию коэффициент мультяшности – 0.5. (Его можно поменять при генерации аватара) Как только мы поймем, что другой лучше (и сделаем рендеринг глаз лучше) – мы его поменяем, на тот, что больше нравится народу.
@Alexander, друже, анимация в Whatsapp не экспортируется(
@Oneeugene, через кнопку WhatsApp на первой странице или через опции шаринга анимации? Если через 1 то так и должно быть, там экспортируется стикер пак (анимации в стикерах они не поддерживают), а через 2 – я проверю и исправлю. Вроде работало;)
@Alexander, как раз через шаринг не хочет отправлять видео
@Oneeugene, спасибо за фидбек, исправлю в апдейте)
Вопрос, если использовать фото обнаженного человека, фигурка такая же будет ?)
@Cactusyan, да. И да, напомню, на сервер персональные данные не отправляется. Все вычисления только на девайсе. (это было требование Apple для нас)
надо было назвать приложение WeirdEyes
@joker2k2, <3. Добавлю как feature request! На самом деле тут была проблема. Если делать натуральные глаза (с фотки) – плохо смотрятся анимации. Если генерировать их самому – тяжело попасть в освещение. Мы решили сделать генерированные и постепенно их улучшать. В итоге должно стать лучше.
Сняли почему-то 70 руб за бесплатно. Как так?
@zarkad, Если это ваша первая покупка с данной карты – Apple может таким образом проверить вашу привязанную карту взяв от туда 1 доллар и вернув его. Мое приложение всегда было бесплатным и сейчас бесплатное. Так что, к сожалению, деньги ушли не мне!) Вы всегда можете написать в Apple об этом.
@Alexander, скорее всего проверяют карту. Зашел в свои покупки, ваши программы действительно стоят 0 руб. ))
@zarkad, Искренне надеюсь, что вы еще не успели поставить 1 и написать, что мы плохое люди в ревью!;) Как вам приложение?
@Alexander, Это моя не первая покупка, но тоже заблокировали и потом вернули. Приложение хорошее.
Не совсем понял про глаза. Они будут улучшены в следующих обновлениях или алгоритм программы с каждым новым снимком их сам абгрейдит?
@L@V, в следующих обновлениях будет улучшено. Мы сейчас работаем с несколькими 3д аниматорами/дизайнерами и надеемся, что скоро они станут более человеческие) Но даже сейчас, если делать фото “как на паспорт” должны получаться красивые аватары. Все скриншоты в аппсторе были без какой-либо постобработки.
@Alexander, спасибо за приложение!
У девушки на картинке откуда-то лишних 20 кило жира взялось. Какое-то жирнящее приложение. Да и могли-бы использовать 2 фотографии с разных ракурсов + есть приложение Capture которое задействует TrueDepth. Тогда результат был-бы совсем интересен качеством. Вспоминается приложение 3dMEnow из середины 2000-х.
@Phonerz, в идеале – 1 фотки должно быть достаточно. Заставлять снимать пользователя несколько фоток – не user friendly. + сложно попробовать на знакомых или просто рандомных фотках. Для True depth мы скоро сделаем приложение лучше;)
@Alexander, я о том, что качество можно было бы таким образом улучшить.
@Phonerz, А, типо если пользователь хочет – то предложить ему снять еще пару фоток, чтобы улучшить аватар. – Да, мы подумаем, может такой режим получится добавить. Возможно, мы еще будет на iPhone X+ получать True Depth и таким образом улучшим аватары.
аватары как у восставших из ада
@anatolPasha, во-во. Задумка, может и могла быть норм, но реализация, на уровне “дети против волшебников” ?
@C0nfy, вам не нравятся аватары из статьи тоже? Если они норм, то попробуйте сделать в хорошем освещении “фотку как на паспорт”.
Когда ждать версию под Android?
@Костя А, когда у нас появится Android разработчик;) Надеюсь скоро
Стоит ли ждать версию под iPad Pro?
У меня другой вопрос по глазам: почему голубые глаза стали карими?
@dankz, освещение с фотографии часто может немного поменять цвет радужки. Мы пытаемся его угадать, но иногда не получается;)
@dankz, можно же поменять цвет на любой
А в телегу будет экспорт?
@Probkin, экспорт отдельного стикера – уже можно делать. Экспорт целого стикерпака – мы добавим.
Александр, как с вами удобнее всего связаться?
@_daniv_, Плохо оставлять в открытом месте свою почту. Вот сгенерированная – [email protected] ;)
круто, но вацап ??♂️??♂️
в телеграм можно?
анимированные стикеры нельзя экспортировать?
Подождите-ка, выходит, это сильно облегчит работу разработчикам игр(в будущем конечно, сейчас это больше похоже на НПС в гта са) А можно будет в WhatsApp’е скидывать анимированные аватары? + Самый Главный Вопрос Дня : Долго ли придется ждать выхода приложение на рынки Play Market’а? И выйдет ли вообще?
@GoLdeN MaStEr, Согласен, что в будущем, но мы стремимся сделать хорошие реалистичные аватары. А можно будет в WhatsApp’е скидывать анимированные аватары? – пока, к сожалению, только как видео. Но да, там вроде есть возможность делать анимированные стикеры и я попробую ее добавить. На счет Play Market, появится, но я пока не могу сказать точное время появления)
@Alexander, Вы в России? Хотели бы пригласить Вас на форум в МГУ в конце октября.
Нашли орфографическую ошибку в новости?
Выделите ее мышью и нажмите Ctrl+Enter.Почему не получается установить macOS Mojave 10.14 на Mac
Как увеличить масштаб экрана на Apple Watch
Как включить защиту украденного iPhone в iOS 17.3
Как включить фоновое воспроизведение видео на YouTube
Не получается обновить прошивку на iPad, iTunes выдает ошибку. Как быть?
Почему в iPhone без причины падает скорость Wi-Fi
Как на Mac включить автозаполнение паролей из связки ключей в стороннем браузере
Где клавиша Num Lock на MacBook и Mac?