Всем привет! Меня зовут Александр, и я один из разработчиков компании itSeez3D, где мы занимаемся крутыми алгоритмами компьютерного зрения. Нашим первым продуктом было приложение под iPad, которое с помощью внешнего 3D-сенсора сканирует людей, объекты и помещения.
У нас получались очень хорошие результаты: качественная RGB текстура, маленькая погрешность в геометрии моделей. Но мы были ограничены количеством 3D-сенсоров на рынке, так как без них мы работать не могли.
Мы захотели расширить рынок потенциальных пользователей. Так родилась идея нового приложения…
Встречайте, FaceHero – приложение для создания 3D-аватаров по фото
Сделали приложение, способное сгенерировать 3D-аватар c помощью всего одной фотографии лица. Причем необязательно с данными от TrueDepth-камеры в iPhone X/Xs/XR.
Для этого мы разработали нейросети, которые умеют превращать селфи в трехмерные бюсты людей с отличной текстурой. Пример работы ниже, это Киану Ривз по одной фотке из Google:
You’re breathtaking!
На этом мы не остановились. Сначала мы сделали, чтобы аватар можно было анимировать. Наши 3D-художники создали несколько анимаций разных эмоций: например, аватар может послать воздушный поцелуй или сильно разозлиться.
А еще можно анимировать аватары в режиме реального времени – вы подмигиваете или что-то говорите, а он повторяет за вами (так же, как в Animoji и Memoji).
Еще у нас есть режим AR: можно, например, поставить анимированный аватар прямо на ваш стол.
Персональные данные защищены вашим же устройством
После того, как мы уже выпустили пару релизов, Apple категорически отказалась одобрять новую версию и сказала, что теперь мы должны все вычисления проводить локально, без использования сервера.
Для нас это означало, что нужно все наши алгоритмы, включая большие нейронные сети, и ресурсы для генерации модели перенести с сервера на телефон.
К тому же мы хотели сделать приложение меньше 150Mb, чтобы пользователи имели возможность скачивать его без использования WiFi.
В итоге их требование сделало наше приложение только лучше. Данные пользователей теперь не покидают устройства, а вычисления получилось сильно оптимизировать – так что на iPhone X они работают быстрее 25 секунд, а раньше было около 40 из-за отправки фотографии и скачивания модели.
Плюс весь процесс портирования на устройство занял у нас значительно меньше времени, чем мы предполагали.
Из аватаров можно даже сделать стикеры
Мы посмотрели на то, как люди используют наш продукт и поняли, что пользователи часто шарят эмоции, например в сообщениях.
Поэтому мы сами сгенерировали красивые стикеры по аватару, которые удобно шарить в различные приложения и выделили эту функциональность в отдельное приложение FaceHero Stickers.
Для iMessage мы сделали плагин, с помощью которого можно в одно касание отправить стикер. Еще мы добавили в iOS клавиатуру стикеров для всех остальных приложений, а в следующей версии можно будет импортировать весь набор стикеров в WhatsApp.
Наши планы на будущее – продолжать улучшать текстуры и отрисовку моделей и добавить больше крутых анимаций и стикеров.
Все приложения работают без интернета и никуда не отправляют ваши данные. И бесплатно. И без рекламы. И регистрации.
Вот ссылки на них: FaceHero, FaceHero Stickers.
Я буду рад любым комментариям и предложениям по новым функциям или улучшению старых.
P.S. Делайте фотографии в хорошем освещении, аватары будут гораздо лучше ;)
57 комментариев