Перейти к содержимому
SBER 294,87 ₽ 1,02% снижениеIMOEX 2 424,98 1,82% снижение
·Технологии·источник: Habr·1 мин

Аудит ИИ-агентов: два подхода к проверке надежности

Как проверять агентов, которые действуют: записывают, бронируют, начисляют, отгружают

Пока языковая модель только отвечает на вопросы, ее ошибка остается текстом. Человек читает ответ, сомневается, перепроверяет. Агент с вызовом функций устроен иначе, между его решением и последствием часто нет проверки оператора. Вызов функции отгрузки уже отгрузил заказ, вызов функции начисления уже начислил скидку. Ошибка агента становится действием со степенью риска.

В 2026 году появились две работы, которые подходят к проверке таких агентов с разных сторон. Группа из Принстонского университета (Rabanser, Kapoor, Narayanan и соавторы) предложила измерять надежность агента как многомерный профиль поведения. Мы предложили методологию, которая ищет конкретные места, где агент совершает действие без основания, и показывает их на карте с точным адресом: какое условие, какая подача поручения. Ниже мы объясняем, почему проверка агентов с реальным действием – отдельная задача, разбираем оба подхода и показываем, как они складываются в один аудит.

Отрывок из ленты источникаЧитать у источника: Habr