BM25 и RAG: инженерный разбор от AI-архитектора
Матчасть по BM25 уже много и подробно разбиралась в различных статьях: от Эвана Шварца на Хабре, где он объяснял вывод IDF из вероятностной модели Робертсона и Спарк-Джонс, в курсе Claude Academy на примере инцидента INC-2023-Q4-011 показали, почему семантический поиск теряет точные идентификаторы, а репозиторий Michael-JB/bm25 демонстрирует представление BM25 в виде разреженных эмбеддингов на Rust. Повторять смысла нет - источники выше.
В этой статье посмотрим на BM25 со стороны продакшена как на структуру данных, разберём расхождения между популярными библиотеками, изучим по бенчмаркам его преимущества и ограничения, а также соберём пайплайн гибридизации и валидации. Примеры будут из поиска по юридическим документам (ака НейроЮрист).
Из вводных стоит сразу зафиксировать четыре неочевидных свойства, которые напрямую влияют на продакшен. Скор BM25 - это не вероятность: он не нормирован и не сопоставим ни между разными коллекциями, ни внутри одной коллекции в разные моменты времени. При этом представление алгоритма в виде разреженного вектора с предвычисленными весами позволяет перенести расчёты на этап индексации. Обратная сторона такого подхода - чувствительность к глобальной статистике: при вставке и удалении документов средняя длина avgdl дрейфует, точность падает, поэтому при приблизительной оценке avgdl параметр b нужно снижать, а при полном отсутствии статистики — обнулять (b = 0).
Отрывок из ленты источникаЧитать у источника: Habr
