Галлюцинации нейросетей: почему ИИ врёт и как проверить

Вы просите чат-бота назвать дату закрытия реестра по конкретной акции — и он отвечает мгновенно: день, месяц, размер выплаты, а следом ещё и ссылка на «официальное раскрытие». Так выглядят галлюцинации нейросетей: ни этой даты, ни этой ссылки в реальности нет, но ответ звучит гладко и уверенно. Это не сбой и не зависание — это штатный режим работы модели на границе её знаний.

Обиднее всего, что выдумка внешне не отличается от правильного ответа. Модель не подсвечивает жёлтым «здесь я не уверена» — интонация одинаковая и когда она пересказывает документ, и когда достраивает его по памяти. Разберём пять ошибок, из-за которых пользователь регулярно получает вымысел вместо факта, и короткую процедуру проверки, которая занимает минуту.

Как рождается галлюцинация: модель достраивает текст по вероятности, а уверенный тон одинаков в обоих случаях

Почему нейросети галлюцинируют

Нейросеть галлюцинирует потому, что она подбирает правдоподобное продолжение текста, а не ищет факт в справочнике. Большая языковая модель — это система, обученная предсказывать следующий фрагмент текста по огромному массиву примеров; у неё нет отдельной ячейки «дата отсечки по такой-то бумаге», из которой можно прочитать значение. Подробнее механизм разобран в нашем материале про большие языковые модели и принцип их работы.

Отсюда следует неприятное свойство: правильный ответ и выдуманный рождаются одним и тем же процессом. Когда в обучающих данных тема была представлена плотно, статистически вероятное продолжение совпадает с фактом. Когда тема редкая, узкая или свежая, вероятное продолжение — это просто текст, который выглядит как правильный ответ.

Поэтому термин «галлюцинация» описывает не поломку, а штатный режим работы на границе знаний модели. Как устроено само обучение и почему у модели нет «памяти на факты», мы разбирали в статье о том, как устроена нейросеть и на чём она учится.

Ошибка 1. Спрашивать то, что меняется во времени

Самый частый способ получить выдумку — задать вопрос про дату, ставку, курс, размер выплаты или редакцию закона. У любой модели есть граница обучающих данных: момент, после которого мир для неё не менялся. Всё, что произошло позже, она достроит по инерции — и сделает это уверенно.

Разница в поведении здесь принципиальна. Вопрос «как в принципе устроен механизм дивидендной отсечки» модель раскроет хорошо: это устойчивое знание. Вопрос «какая отсечка у этой бумаги» она с высокой вероятностью выдумает, потому что правильного ответа в ней просто нет.

• Устойчивые вещи — механизмы, определения, классификации, логика процессов — модель объясняет надёжно.
• Изменчивые вещи — даты, ставки, котировки, суммы, номера статей и пунктов — проверяйте всегда.
• Чем уже и локальнее тема, тем выше риск: по нишевым эмитентам и мелким сервисам данных в обучении почти не было.

Практический вывод простой: календарные и числовые данные берите там, где они собираются из раскрытий, а не из разговора с чат-ботом. Даты выплат и отсечек смотрите в нашем дивидендном календаре, а сроки публикации финансовых результатов — в календаре отчётностей.

Ошибка 2. Верить ссылкам, которые модель принесла сама

Ссылка, сгенерированная моделью, — такой же предсказанный текст, как и остальной ответ. Адрес собирается из типичных кусков: правдоподобный домен, правдоподобный раздел, правдоподобный идентификатор. Получается ссылка, которая выглядит абсолютно нормально и никуда не ведёт — или ведёт совсем на другой документ.

То же касается названий исследований, номеров приказов, фамилий авторов и цитат. Модель уверенно приписывает реальному источнику фразу, которой там нет, потому что такая фраза статистически уместна в подобном тексте.

Правило, которое экономит больше всего времени: источник считается существующим только после того, как вы открыли его сами. Не открывается — значит, его нет, каким бы солидным ни выглядело описание.

Ошибка 3. Принимать уверенный тон за знание

Уверенность формулировки в ответе модели не связана с её правотой. Стиль ответа задаётся тем, как обычно пишут тексты на эту тему: справочная статья звучит уверенно, значит, и продолжение будет звучать уверенно — независимо от того, опирается оно на факт или нет.

Людей это сбивает сильнее всего. В обычной жизни неуверенный человек делает оговорки, мнётся, ссылается на память. Модель этого не делает: развёрнутый ответ с подзаголовками и списком выглядит как работа эксперта, даже когда внутри вымысел.

Полезная привычка — просить модель отдельно перечислить, что в её ответе проверяемо, а что домыслено. Это не гарантия, но заметная часть выдумок так всплывает. Другие приёмы формулирования запросов мы собрали в разборе о том, как писать промпты для нейросети.

Ошибка 4. Задавать вопрос с ложной предпосылкой

Если в вопросе спрятано утверждение, модель почти всегда примет его как данность. Спросите «почему такой-то фонд закрыли в прошлом году» — и получите стройное объяснение причин события, которого не было. Модель отвечает на заданный вопрос, а не оспаривает его.

Это самый коварный сценарий, потому что ошибку внёс сам пользователь, а подтверждение пришло от машины. Ощущение проверки есть, проверки нет.

• Формулируйте нейтрально: не «почему это произошло», а «происходило ли это и что известно».
• Разделяйте вопрос на два шага: сначала «есть ли такой факт», потом «как он объясняется».
• Просите ответить «нет данных», если факт не подтверждается, — это заметно снижает число выдумок.

Ошибка 5. Ждать, что модель знает ваши данные

Модель не видит ваш договор, отчёт или таблицу, пока вы их не приложили. Если данных нет в запросе, она достроит недостающее по типовым образцам: подставит привычные формулировки, стандартные условия, средние по рынку значения.

Отсюда практика, которая радикально снижает число выдумок: сначала дать документ, потом задавать по нему вопросы. Когда факт лежит прямо в запросе, модели не нужно его придумывать — задача сводится к пересказу. По этому же принципу работают сервисы с поиском по базе знаний и ИИ-агенты, которые обращаются к внешним данным.

Какие бывают галлюцинации нейросетей

Галлюцинации делятся на несколько узнаваемых типов, и у каждого свой способ проверки. Ниже — те, что встречаются чаще всего в бытовых и рабочих задачах.

Пять типовых видов галлюцинаций и способ проверки для каждого

Отдельно стоит смешение похожих сущностей: у компаний с близкими названиями, у бумаг одного эмитента разных типов, у сервисов-тёзок модель легко переносит признаки одного на другой. Ответ при этом остаётся связным, ошибка прячется в одной детали.

Чем галлюцинация отличается от обычной ошибки

Обычная ошибка — это неверно воспроизведённый существующий факт, а галлюцинация — это факт, которого не существует вовсе. Разница практическая: ошибку можно поймать сверкой значения, выдумку — только проверкой самого существования объекта.

Есть и третий случай — устаревание: факт был верным на момент обучения и перестал быть верным сейчас. Формально это не выдумка, но для читателя последствия те же, поэтому в проверку такие ответы идут вместе с галлюцинациями.

Можно ли полностью убрать галлюцинации нейросетей

Полностью убрать галлюцинации нельзя — можно только снизить их частоту и цену. Это следствие самой конструкции: система, которая всегда достраивает наиболее вероятное продолжение, неизбежно достроит его и там, где опоры нет.

Разработчики моделей открыто описывают этот предел в сопроводительной документации и «системных картах» к своим системам, а рамочный документ NIST по управлению рисками искусственного интеллекта (AI Risk Management Framework) прямо относит достоверность вывода к рискам, которыми нужно управлять процедурно, а не надеяться на их исчезновение.

Что реально снижает частоту выдумок:

• подача исходного документа прямо в запрос вместо расчёта на память модели;
• режимы с поиском по внешним источникам, где ответ сопровождается ссылками, которые можно открыть;
• разбиение задачи на шаги с проверкой промежуточных выводов;
• явное разрешение ответить «не знаю» — без него модель почти всегда предпочтёт версию молчанию.

Как проверить ответ нейросети

Проверяйте не весь ответ целиком, а только изменчивые фрагменты — даты, суммы, названия и ссылки: на это уходит меньше минуты. Процедура складывается в четыре шага.

1. 1Выделите в ответе всё изменчивое — даты, суммы, ставки, названия, номера
2. 2Проверьте, существует ли объект вообще, а не только верно ли значение
3. 3Откройте каждую ссылку и убедитесь, что документ открывается и говорит то же самое
4. 4Возьмите число из первоисточника или нашего календаря, а не из ответа модели

Порядок проверки ответа нейросети: от изменчивых фрагментов к первоисточнику

Первоисточники для российских финансовых тем предсказуемы: Банк России — по ставке и регулированию, Московская биржа — по торгам и листингу, официальные раскрытия эмитентов и НРД — по корпоративным событиям, ФНС — по налогам. Если ответ модели не сходится с ними, прав первоисточник.

Где цена галлюцинации выше всего

Дороже всего выдумка обходится там, где по ответу принимают решение о деньгах, здоровье или правах. В таких темах ошибка не остаётся текстом на экране — она превращается в пропущенный срок, неверно поданную декларацию или сделку, совершённую из ложных предпосылок.

Отдельный риск — использование выдуманного факта в разговоре с другими людьми. Уверенно пересказанная галлюцинация распространяется дальше и уже не выглядит как ответ чат-бота.

Что часто путают

Галлюцинацию регулярно смешивают с двумя другими явлениями, хотя природа у них разная.

• Отказ отвечать — это осознанное ограничение, заложенное разработчиком, а не ошибка знания.
• Дипфейк — намеренно созданная подделка изображения или голоса; галлюцинация же возникает без чьего-либо умысла. Как распознать подделку, разобрано в материале про дипфейки и способы их распознать.
• Ошибка в исходных данных — модель точно воспроизвела то, что было в обучении, но само утверждение было неверным изначально.

Частые вопросы

Почему нейросеть выдумывает ссылки и источники

Потому что ссылка для модели — это текст, а не адрес: она собирает правдоподобную последовательность символов по образцу знакомых адресов. Проверяется это единственным способом — попыткой открыть ссылку.

Галлюцинирует ли нейросеть с доступом в интернет

Да, но реже: поиск даёт модели опору на реальные документы, однако она всё равно может неверно их пересказать или подставить не тот источник. Открывать приведённые ссылки нужно и в этом режиме.

Помогает ли фраза «не выдумывай» в промпте

Немного помогает, но не решает проблему. Полезнее прямо разрешить ответ «нет данных», попросить отделить проверяемое от предположений и приложить исходный документ — это работает заметно лучше запретов.

Какая нейросеть меньше галлюцинирует

Универсального ответа нет: частота выдумок зависит не только от модели, но и от темы, свежести вопроса и наличия поиска. Сравнивать модели имеет смысл на своих типовых задачах, а не по общим обещаниям.

Что делать дальше

Относитесь к ответу нейросети как к черновику знающего, но забывчивого собеседника: структуру и объяснение механизма берите, конкретику проверяйте. Три привычки закрывают большую часть рисков — прикладывать документ к запросу, открывать каждую ссылку, брать числа и даты из первоисточника.

Если речь о рынке, первоисточник у вас под рукой: даты выплат смотрите в дивидендном календаре, сроки публикации результатов — в календаре отчётностей, а сами расчёты доходности удобнее делать в наших калькуляторах инвестора, а не просить модель посчитать в уме.

Материал носит информационный характер, не является инвестиционной рекомендацией и не содержит прогнозов. Проверяйте фактические данные по первоисточникам: Банк России, Московская биржа, официальные раскрытия эмитентов, ФНС.