Apple вместе с учёными из MIT, Университета Карнеги-Меллона, Вашингтона и Калифорнийского университета в Сан-Диего придумали, как обучать роботов.
В исследовании под названием Humanoid Policy ∼ Human Policy они рассказали, как это работает.
Суть в том, чтобы показать роботу, как люди делают разные действия, например, берут предметы от первого лица. Для этого собрали огромный набор данных: 25 тысяч видео от людей и 1,5 тысяч от роботов. Их назвали PH2D и использовали, чтобы обучить искусственный интеллект, который потом управляет настоящим гуманоидным роботом.
Обучать роботов только на их собственных действиях — долго и дорого. Поэтому учёные решили использовать видео, где люди показывают, как что-то делать. Это оказалось проще и дешевле.
Для записи видео использовали Apple Vision Pro: специальное приложение снимало движения рук и головы через камеру устройства. Чтобы сделать метод доступнее, учёные также напечатали на 3D-принтере крепление для камеры ZED Mini Stereo, которую можно прикрепить к другим гарнитурам, вроде Quest 3.
Люди двигаются быстрее роботов, поэтому видео с людьми замедляли в четыре раза, чтобы робот мог понять и повторить движения.
Главный герой исследования — модель HAT (Human Action Transformer). Она обучается на видео от людей и роботов одновременно, не разделяя их. Это делает робота умнее и способным выполнять даже новые задачи, которые он раньше не видел. [9to5]
(6 голосов, общий рейтинг: 4.67 из 5)
2 комментария
Форум →