Советы ИИ сделали людей в три раза менее точными, но вдвое более уверенными — показало исследование

После советов ИИ доля правильных ответов снизилась с 27% до 9%, а уверенность выросла с 30% до 76%

Учёные из трёх университетов Франции и Италии выяснили, что доступ к советам искусственного интеллекта может ухудшать способность людей оценивать собственные знания. В эксперименте участники, получавшие помощь ИИ, реже признавали неопределённость, чаще принимали ошибочные ответы и при этом сильнее были уверены в своей правоте.

Исследователи сравнили поведение людей при самостоятельном решении задач и при использовании ИИ-подсказок. Без доступа к ИИ участники признавали, что не знают ответ, в 44% случаев, а при наличии советов системы этот показатель снизился до 3%. Точность ответов упала с 27% до 9%, тогда как средняя уверенность выросла с 30% до 76%.

В эксперименте специально использовали вопросы, в ответе на которые современные ИИ-модели часто ошибаются. Например, участникам показывали визуальные детали из фильмов и просили определить такие параметры, как цвет формы команды в фильме «Играй, как Бекхэм» (Bend It Like Beckham). Учёные использовали модель Step 3.5 Flash, которая обычно давала неверные ответы в подобных заданиях, чтобы исключить вариант, при котором участники просто передают решение надёжному инструменту.

Даже денежное вознаграждение за правильные ответы почти не изменило ситуацию. При наличии финансовой мотивации доля людей, готовых признать незнание, выросла с 3% до 8%, а точность ответов — с 9% до 16%. Эти значения всё равно оставались ниже результатов группы без ИИ, где показатели составляли 44% и 27% соответственно.

По словам учёных, способность сказать «я не знаю» важна, поскольку показывает понимание границ собственных знаний. Учёные считают особенно важным этот вопрос для детей, которые начинают использовать ИИ ещё до формирования устойчивых навыков критического мышления.

Авторы работы отмечают, что проблема связана не только с доверием к ошибочным ответам ИИ, но и с тем, что постоянная доступность систем, которые всегда дают ответ, может снижать готовность человека признавать собственное замешательство.