Группа ученых из Apple, занимающихся искусственным интеллектом, опубликовала исследование, в котором заявляет, что современные ИИ не способны думать.
Чтобы доказать свою теорию, они создали бенчмарк GSM-Symbolic, который измеряет «способность мыслить» различных больших языковых моделей (LLM). Согласно выводам исследования, любые, даже незначительные изменения в формулировке запросов, могут привести к существенно отличающимся ответам, что подрывает доверие к моделям.
Особое внимание ученые уделили математическим тестам. Они добавляли к запросам контекстную информацию, которую может понять человек, но которая не должна влиять на ход решения. Каждый раз ИИ отвечал по-разному.
Один из примеров, приведенных в статье, описывает простую математическую задачу о том, сколько киви человек собрал за несколько дней. Когда в условие были включены данные о размере киви, которые не относятся к решению, модели o1 от OpenAI (используется в ChatGPT) и Llama от Meta* изменили ответы, чего не должны были делать.
Мы не обнаружили никаких признаков формальных рассуждений в языковых моделях. Их поведение лучше объясняется сложным подбором шаблонов — настолько хрупким, что изменение имен может изменить результаты на ~10%.
Apple
Ученые пришли к выводу, что модели не используют настоящую логику для решения проблем, а вместо этого пытаются распознать шаблоны, которые были добавлены во время обучения. [Appleinsider]
*признана экстремистской и запрещена в России
Войди и оставь комментарий
Или войди с помощью
Доказала что-то, что другие давно опровергли. Покатилась волна все друг у друга перепечатывают
Ждем гпт-5, она то научится думать))
Странно, что эппл такое говорит, учитывая что в этом году ИИ это их главная фишка в телефонах
странно, что Anthropic с Claude в статье не упомянут
4GPT шлак, подходит чисто для генерирования вежливых ответов по мылу
Добро пожаловать в будущее, когда восстанет Скайнет :)
Не понял зачем они собирали группу специалистов и что-то выясняли. ИИ – это маркетинг, за которым по факту нет ничего. Это никакой не ИИ по определению, это языковые модели, агрегирующие данные из интернетов. Они не генерируют свои ответы, а выдают компиляцию из уже существующей информации. Процесса мышления там нет и быть не может.
чтобы такое утверждать, можете сформулировать, что такое мышление в вашем понимании?
Немножко логика, интуиция… навскидку, помимо просто сбора и сортировки информации.
Ну дак это и ежику понятно все. Зачем доказывать специально?))
Чтобы акционерам потом объяснить отставание во внедрении и развитии ИИ-функций в продуктах.А теперь можно сказать, что известные модели еще не достаточно совершенны для полноценного исследования.
То ли дело – Siri!
Рекомендуем
Нашли орфографическую ошибку в новости?
Выделите ее мышью и нажмите Ctrl+Enter.