Apple рассказала, как учит роботов подглядывать за людьми, чтобы получать новые знания

Apple вместе с учёными из MIT, Университета Карнеги-Меллона, Вашингтона и Калифорнийского университета в Сан-Диего придумали, как обучать роботов.

В исследовании под названием Humanoid Policy ∼ Human Policy они рассказали, как это работает.

Суть в том, чтобы показать роботу, как люди делают разные действия, например, берут предметы от первого лица. Для этого собрали огромный набор данных: 25 тысяч видео от людей и 1,5 тысяч от роботов. Их назвали PH2D и использовали, чтобы обучить искусственный интеллект, который потом управляет настоящим гуманоидным роботом.

Обучать роботов только на их собственных действиях — долго и дорого. Поэтому учёные решили использовать видео, где люди показывают, как что-то делать. Это оказалось проще и дешевле.

Для записи видео использовали Apple Vision Pro: специальное приложение снимало движения рук и головы через камеру устройства. Чтобы сделать метод доступнее, учёные также напечатали на 3D-принтере крепление для камеры ZED Mini Stereo, которую можно прикрепить к другим гарнитурам, вроде Quest 3.

Люди двигаются быстрее роботов, поэтому видео с людьми замедляли в четыре раза, чтобы робот мог понять и повторить движения.

Главный герой исследования — модель HAT (Human Action Transformer). Она обучается на видео от людей и роботов одновременно, не разделяя их. Это делает робота умнее и способным выполнять даже новые задачи, которые он раньше не видел. [9to5]

• До ←

  Beats выпустила кабель, который Apple не сделала за все время. Он позволяет подключать iPhone с USB-C к CarPlay и стоит $19

• После →

  Полноприводный китаец, который удивил! Протестировали новое авто из Поднебесной, называется Soueast S07 или по-русски Соуис