Перейти к содержимому
IMOEX 2237.17 1.2%
·Технологии·31 июля 2026 г.

Внешний бенчмарк причинного recall: проверяем память ИИ-ассистента на YDB Яндекса

Внешний бенчмарк причинного recall: проверяем память ИИ-ассистента на YDB Яндекса

Коротко, о чём речь, — для тех, кто пришёл по слову «Яндекс» и предыстории не знает. Когда ИИ-ассистент помогает чинить баг, самое ценное — не сочинить ответ с нуля, а вспомнить: похожий симптом уже разбирали, вот issue, вот причина, вот PR с фиксом. Вопрос ровно один — достаёт ли ассистент это прошлое решение из памяти. Мы это померили на своём корпусе тикетов и получили две цифры. Обычный семантический поиск (по смыслу слов) находит нужный прошлый фикс по симптому лишь в 38% случаев; обход явных причинных связей «issue → закрывший его PR» — в 87%. То есть сходство слов упирается в треть, а явные связи поднимают recall в разы.

Это отрывок статьи. Полную версию читайте на сайте источника по ссылке ниже.

Источник: Habr

Тикеры из статьи

YDEX 6.7%
3 882,5