Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне

Мы собрали training‑free детектор галлюцинаций из шести готовых языковых моделей, получили хорошие метрики и наткнулись на красивую загадку: группу примеров, которые все судьи единогласно считали корректными, хотя эталонная разметка помечала их как галлюцинации.

На первый взгляд это выглядело как универсальная слепая зона LLM‑as‑judge — переносимый и потенциально важный результат. Однако собственная процедура проверки показала обратное: большей части этих меток не удалось пройти сверку с первоисточником. Судьи всё это время были правы.

Эта статья не столько о детекторе и не о предполагаемой слепой зоне, сколько о процедуре проверки, которая в итоге поймала нас самих.