ИИ-подсказки сделали людей втрое менее точными, но вдвое увереннее

Группа учёных из трёх университетов Франции и Италии проверила, как доступ к советам искусственного интеллекта влияет на способность человека рассуждать. Результат вышел обескураживающим: готовность честно ответить «я не знаю» упала с 44% до 3%, точность ответов снизилась с 27% до 9%, а вот уверенность в собственной правоте выросла с 30% до 76%.

«Люди стали намного хуже, точность составила лишь треть прежней, но уверенности у них было вдвое больше», — резюмирует Валерио Капраро, доцент Миланского университета Бикокка. Работу он подготовил вместе с Кьярой Маркоччей из Высшей нормальной школы и Вальтером Кваттрочокки из римского университета Сапиенца.

Ловушка была подстроена намеренно

Эксперимент устроили так, чтобы исключить разумное делегирование задачи надёжному инструменту. Участникам задавали вопросы, на которых модели обычно ошибаются, — например, о визуальных деталях фильмов: какого цвета была форма команды в картине «Играй, как Бекхэм». Использовали модель Step 3.5 Flash, которая на подобных вопросах, как правило, отвечала неверно. Иными словами, ИИ систематически подсказывал ошибочные ответы. И часть людей, способных ответить правильно самостоятельно, спрашивала совета у ИИ — и ошибалась.

Денежное вознаграждение за правильные ответы помогало, но слабо. Готовность признать незнание поднялась с 3% до 8%, точность — с 9% до 16%. Оба показателя остались далеко от исходных значений без ИИ: 44% и 27% соответственно.

«Когнитивная капитуляция»

Новое исследование перекликается с работой учёных из Уортонской школы, которые ранее в этом году ввели термин «когнитивная капитуляция»: люди принимали неверные ответы ИИ в 80% случаев и при этом были увереннее тех, кто работал без помощника. Свежие данные добавляют более острую деталь: дело не только в доверии к ошибочным ответам. Само наличие ИИ под рукой подавляет привычку осознавать границы собственного знания.

«Для человека способность сказать „я не знаю“ очень важна, потому что она отражает признание пределов нашего знания», — отмечает Капраро. Особенно его тревожат дети, которые растут с этими системами ещё до того, как у них сформируется критическое мышление. Здесь исследователь напоминает о перестройке поиска Google, где ссылки заменили уверенными ИИ-сводками: организация Common Sense Media на этой неделе назвала такой подход «недопустимым риском» для школьников.

Закономерность, по мнению авторов, устойчива: продукты на базе ИИ спроектированы так, чтобы всегда давать ответ и никогда не говорить «я не знаю». А люди, пользуясь ими, постепенно учатся тому же.

Источник: Hacker News