Исследователи из Apple проверили, могут ли современные нейросети, такие как ChatGPT и его аналоги, мыслить и осознавать это. Они опубликовали работу под названием «Понимание ограничений математических рассуждений в больших языковых моделях», где приводят аргументы и примеры, подтверждающие их выводы.
В качестве примера они взяли простую детскую задачу, которая показывает неспособность нейросетей к размышлению:
«Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. В воскресенье он собрал вдвое больше киви, чем в пятницу». Сколько киви у Оливера?
Большинство языковых моделей легко решают эту задачу по формуле 44 + 58 + (44 х 2) = 190. Однако если немного усложнить задачу, добавив несущественную информацию, нейросеть начинает путаться. Например, если добавить фразу «но 5 из них были размером немного меньше среднего», то нейросеть посчитает по формуле 44 + 58 + (44 х 2 - 5) = 185. Даже самая продвинутая модель GPT-o1-mini допускает эту ошибку.
Исследователи повторили этот эксперимент на сотнях вопросов, слегка усложняя задание дополнительной информацией, не влияющей на результат. Эксперты пришли к выводу, что нейросети не понимают, в чём проблема. Как только от них требуется хоть малейшее рассуждение, они начинают путаться и выдавать некорректные ответы.
