Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне
Мы собрали training‑free детектор галлюцинаций из шести готовых языковых моделей, получили хорошие метрики и наткнулись на красивую загадку: группу примеров, которые все судьи единогласно считали корректными, хотя эталонная разметка помечала их как галлюцинации. На первый взгляд это выглядело как универсальная слепая зона LLM‑as‑judge — переносимый и потенциально важный результат. Однако собственная процедура проверки показала обратное: большей части этих меток не удалось пройти сверку с первоис