Всем привет! Меня зовут Александр, и я один из разработчиков компании itSeez3D, где мы занимаемся крутыми алгоритмами компьютерного зрения. Нашим первым продуктом было приложение под iPad, которое с помощью внешнего 3D-сенсора сканирует людей, объекты и помещения.
У нас получались очень хорошие результаты: качественная RGB текстура, маленькая погрешность в геометрии моделей. Но мы были ограничены количеством 3D-сенсоров на рынке, так как без них мы работать не могли.
Мы захотели расширить рынок потенциальных пользователей. Так родилась идея нового приложения…
Встречайте, FaceHero – приложение для создания 3D-аватаров по фото
Сделали приложение, способное сгенерировать 3D-аватар c помощью всего одной фотографии лица. Причем необязательно с данными от TrueDepth-камеры в iPhone X/Xs/XR.
Для этого мы разработали нейросети, которые умеют превращать селфи в трехмерные бюсты людей с отличной текстурой. Пример работы ниже, это Киану Ривз по одной фотке из Google:
You’re breathtaking!
На этом мы не остановились. Сначала мы сделали, чтобы аватар можно было анимировать. Наши 3D-художники создали несколько анимаций разных эмоций: например, аватар может послать воздушный поцелуй или сильно разозлиться.
А еще можно анимировать аватары в режиме реального времени – вы подмигиваете или что-то говорите, а он повторяет за вами (так же, как в Animoji и Memoji).
Еще у нас есть режим AR: можно, например, поставить анимированный аватар прямо на ваш стол.
Персональные данные защищены вашим же устройством
После того, как мы уже выпустили пару релизов, Apple категорически отказалась одобрять новую версию и сказала, что теперь мы должны все вычисления проводить локально, без использования сервера.
Для нас это означало, что нужно все наши алгоритмы, включая большие нейронные сети, и ресурсы для генерации модели перенести с сервера на телефон.
К тому же мы хотели сделать приложение меньше 150Mb, чтобы пользователи имели возможность скачивать его без использования WiFi.
В итоге их требование сделало наше приложение только лучше. Данные пользователей теперь не покидают устройства, а вычисления получилось сильно оптимизировать – так что на iPhone X они работают быстрее 25 секунд, а раньше было около 40 из-за отправки фотографии и скачивания модели.
Плюс весь процесс портирования на устройство занял у нас значительно меньше времени, чем мы предполагали.
Из аватаров можно даже сделать стикеры
Мы посмотрели на то, как люди используют наш продукт и поняли, что пользователи часто шарят эмоции, например в сообщениях.
Поэтому мы сами сгенерировали красивые стикеры по аватару, которые удобно шарить в различные приложения и выделили эту функциональность в отдельное приложение FaceHero Stickers.
Для iMessage мы сделали плагин, с помощью которого можно в одно касание отправить стикер. Еще мы добавили в iOS клавиатуру стикеров для всех остальных приложений, а в следующей версии можно будет импортировать весь набор стикеров в WhatsApp.
Наши планы на будущее – продолжать улучшать текстуры и отрисовку моделей и добавить больше крутых анимаций и стикеров.
Все приложения работают без интернета и никуда не отправляют ваши данные. И бесплатно. И без рекламы. И регистрации.
Вот ссылки на них: FaceHero, FaceHero Stickers.
Я буду рад любым комментариям и предложениям по новым функциям или улучшению старых.
P.S. Делайте фотографии в хорошем освещении, аватары будут гораздо лучше ;)
Войди и оставь комментарий
Или войди с помощью
я человек простой, вижу годное приложение – качаю
? крутую штуку сделали.
@iZlodey, спасибо;) Осталось всего-то о ней всем рассказать!
Хочу делать анимированные мемы с участием моих знакомых)
типа “вот это поворот” ?
@Cactusyan, Есть что-то похожее – Morphin. Они используют наши аватары, но другое направление у приложения. (они делают существующие мемы/гифки с сгенерированным аватаром). Я больше концентрировался пока на приложении типо Memoji, только где не надо настраивать аватар и где он должен быть похож на человека. Похож же?)
@Alexander, очень похоже. Осталось сделать поменьше “кокаиновые ” зрачки и будет топ. От себя желаю развития данному приложению
@Cactusyan, спасибо, будем стараться)
@Alexander, очень круто, но зрачки пугают
Я чуть не ? от этих лиц!
@Den.R, когда сделали 1 аватар, можно поиграться с настройкой “реалистичности/мультяшности”. Когда делаете новую модель из камеры там перед тем как отправить на генерацию появится слайдер (я знаю что это не интуитивно, но такая возможность существует). Мы хотели ее сделать real-time, но это немного сложнее пока оказалось.
Бесплатно, без регистрации, без рекламы, оффлайн.
Где подвох?
@iWolf, Там еще и экспортить 3д модель можно для своих нужд! По секрету – мне просто нравятся 5 звездочек в аппсторе;)
@Alexander, простите, я до конца не могу вкурить.
Вот есть FaceHero и FaceHero Stickers. В чем между ними разница, а если по сути они одинаковые, какое приложение оставить (у какого будет более длительная поддержка)?
@iWolf, В FaceHero будет больше разных фич (например, сейчас там есть 3д editor по кнопке edit) FaceHero stickers это просто быстрый способ был проверить гипотезу, что стикерами будут пользоваться и просто это немного более легковесное приложение, но да, все функции которые в нем есть будут в FaceHero.
@Alexander, благодарю за оперативный ответ!
@iWolf, потом влепят подписку за 1399 в месяц, сейчас только базу наберут.
@b0rsh, Пока в планах не было) Мы продаем наш СДК для генерации аватаров для других компаний, а этот проект показывает что мы умеем.
У каждого аватара глаза как у окуня, будто срать, пардон, хочет.
@HauB, Спасибо за фидбек;) Сейчас по-умолчанию коэффициент мультяшности – 0.5. (Его можно поменять при генерации аватара) Как только мы поймем, что другой лучше (и сделаем рендеринг глаз лучше) – мы его поменяем, на тот, что больше нравится народу.
@Alexander, друже, анимация в Whatsapp не экспортируется(
@Oneeugene, через кнопку WhatsApp на первой странице или через опции шаринга анимации? Если через 1 то так и должно быть, там экспортируется стикер пак (анимации в стикерах они не поддерживают), а через 2 – я проверю и исправлю. Вроде работало;)
@Alexander, как раз через шаринг не хочет отправлять видео
@Oneeugene, спасибо за фидбек, исправлю в апдейте)
Вопрос, если использовать фото обнаженного человека, фигурка такая же будет ?)
@Cactusyan, да. И да, напомню, на сервер персональные данные не отправляется. Все вычисления только на девайсе. (это было требование Apple для нас)
Рекомендуем
Нашли орфографическую ошибку в новости?
Выделите ее мышью и нажмите Ctrl+Enter.