Группа ученых из Apple, занимающихся искусственным интеллектом, опубликовала исследование, в котором заявляет, что современные ИИ не способны думать.
Чтобы доказать свою теорию, они создали бенчмарк GSM-Symbolic, который измеряет «способность мыслить» различных больших языковых моделей (LLM). Согласно выводам исследования, любые, даже незначительные изменения в формулировке запросов, могут привести к существенно отличающимся ответам, что подрывает доверие к моделям.
Особое внимание ученые уделили математическим тестам. Они добавляли к запросам контекстную информацию, которую может понять человек, но которая не должна влиять на ход решения. Каждый раз ИИ отвечал по-разному.
Один из примеров, приведенных в статье, описывает простую математическую задачу о том, сколько киви человек собрал за несколько дней. Когда в условие были включены данные о размере киви, которые не относятся к решению, модели o1 от OpenAI (используется в ChatGPT) и Llama от Meta* изменили ответы, чего не должны были делать.
Мы не обнаружили никаких признаков формальных рассуждений в языковых моделях. Их поведение лучше объясняется сложным подбором шаблонов — настолько хрупким, что изменение имен может изменить результаты на ~10%.
Apple
Ученые пришли к выводу, что модели не используют настоящую логику для решения проблем, а вместо этого пытаются распознать шаблоны, которые были добавлены во время обучения. [Appleinsider]
*признана экстремистской и запрещена в России
15 комментариев