Студент Массачусетского технологического института Аниш Аталье вместе с тремя товарищами Кевином Квоком, Логаном Энстрёмом и Гильермо Вебстером создал сенсорный экран для MacBook и описал, как сделать такой же. На сборку потребовалось всего $1 и 16 часов времени.

В основу решения была положена разработка Квока, которую он сделал ещё в школе. Её суть в том, что по блестящим поверхностям под углом можно понять, касается ли палец экрана.

Если палец совпадает со своим отражением, то можно построить схему сенсорного дисплея.

Слегка доработав технологию Квока, ребята создали Project Sistine.

Что это и как работает

Это специальная система, помогающая экрану MacBook понять, какого именно места касается пользователь.

Идея состоит в том, чтобы установить небольшое зеркало перед встроенной камерой макбука, чтобы она смотрела на экран компьютера под острым углом.

Так камера сможет видеть пальцы пользователя. А с помощью компьютерного зрения трансформировать видеопоток в команды для сенсорного управления.

Полученное устройство для считывания касаний экрана MacBook

В итоге для реализации плана потребовалось:

• горячий клей
• миниатюрное зеркало
• жёсткая бумажная тарелка (это не шутка)
• дверные петли

С их помощью зеркальце крепится над камерой MacBook на самодельном креплении. Так оно собиралось:

Дальше студенты взялись за создание софта. Он должен был определять цвет кожи, размеры пальца по верхнему (отражение в экране) и нижнему (реальный палец, снятый камерой) контуру.

Дальше алгоритм оценивает среднюю линию между ними и принимает её за точку касания к экрану ноута.

Так камера считывает касание

После первоначальной калибровки системы камера и софт обучатся адекватно оценить расстояние от пальца до экрана и распознать координаты точки касания по методу RANSAC.

RANSAC — метод оценки параметров модели на основе случайных выборок

Итог

В итоговом прототипе разработчики преобразовали касания и движения пальца в команды мыши. При создании модели использовалась камера с разрешением 480p. И чем будет больше разрешение камеры, тем точнее будут считываться движения.

Исходный код для системы компьютерного зрения создатели опубликовали на GitHub. Там же подробные инструкции по установке. [AnishaTalye]

• До ←

  UBS: iPad с гибким экраном выйдет в 2021 году

• После →

  В Apple Music появились треки с улучшенным звуком