Перейти к содержимому
SBER 288,19 ₽ 0,16% рост за прошлую сессиюIMOEX 2 351,54 0,07% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

Поверхность атаки и AI Red Team: как смотреть на приложение глазами атакующего до релиза

Какие части приложения реально доступны атакующему и что произойдёт, если он доберётся до уязвимого участка?

Поверхности атаки – это совокупность доступных извне интерфейсов, используемых технологий, API-методов, обработчиков и путей выполнения, через которые атакующий может воздействовать на приложение. Главное преимущество анализа поверхности атаки в том, что команда видит не только «что найдено», но и «что доступно», «каким путём» и «насколько это покрыто проверками».

С появлением приложений на базе LLM добавился ещё один слой риска. У такой системы недостаточно проверить исходный код и инфраструктуру: нужно атаковать работающий AI-интерфейс, измерять устойчивость модели к нежелательным запросам, проверять качество ответов и отслеживать регрессии между версиями.

AI Red Team добавляет поведенческий слой и проверяет не только конструкцию системы, но и её поведение под воздействием атакующих запросов. Он позволяет тестировать работающую систему, сравнивать версии по измеримым показателям и включать безопасность AI-функций в инженерный цикл, а не оставлять её разовой экспертной процедурой.

Отрывок из ленты источникаЧитать у источника: Habr

Поверхность атаки и AI Red Team: как смотреть на приложение глазами атакующего до релиза