ChatGPT обошёл людей в эксперименте на качество рассказов — но только пока читатели не знали автора

Эксперимент с 1682 участниками показал: тексты ИИ считали более качественными и увлекательными, особенно когда авторство ошибочно приписывали человеку

Исследование под руководством учёных Университета Виллановы (Villanova University) показало, что участники эксперимента оценивали короткие рассказы, созданные ChatGPT, выше, чем тексты людей, по качеству и способности удерживать внимание читателя.

В первом эксперименте участвовали 1682 человека в возрасте от 18 до 81 года. Участникам показывали короткий рассказ и сообщали, был ли он написан человеком или искусственным интеллектом, причём информация могла быть как правильной, так и ошибочной. Затем оценивали качество текста и степень вовлечённости при чтении. Авторы исследования использовали 3 рассказа людей из литературных журналов и сборников и 3 соответствующих текста, созданных ChatGPT.

В среднем рассказы, созданные ИИ, получили более высокие оценки по обоим параметрам. При этом на восприятие сильно влияло предполагаемое авторство: тексты, которые участники считали написанными людьми, оценивались выше независимо от их реального происхождения. Поэтому максимальные оценки получили именно рассказы ChatGPT, которым ошибочно приписали человеческое авторство.

В двух последующих экспериментах учёные проверили, могут ли читатели самостоятельно определить происхождение текста без подсказки об авторе. В одном исследовании с участием 424 человек точность определения составила 39,93%, что оказалось ниже случайного уровня. В другом эксперименте с 481 участником результат составил 51,97% — статистически не отличаясь от случайного угадывания.

Авторы работы отмечают, что исследование не сравнивает литературное мастерство, оригинальность или возможности создания больших произведений. Оно показывает два конкретных эффекта: читательскую оценку качества текста и сложность определения его происхождения. Результаты указывают, что без специальных методов проверки люди плохо распознают тексты, созданные генеративным ИИ.