Перейти к содержимому
SBER 297,91 ₽ 0,22% снижение за прошлую сессиюIMOEX 2 470,81 1,25% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

Безопасность LLM-агентов и генеративных продуктов: угрозы и методы защиты

Привет, меня зовут Николай Шуляев, я Security Business-партнёр Авито. Главный контекст, который необходимо понимать при построении архитектуры любого генеративного продукта с использованием LLM — это то, что модель не различает данные и инструкции. Модели всё равно, что является пользовательскими данными, а что — системными инструкциями: она будет исполнять всё. Поэтому очень важно внедрять механизмы разграничения, чтобы система четко понимала, где находится пользовательская инструкция, а где — преднамеренное действие разработчика. Это касается любого продукта, где вы подключаете модель напрямую или используете RAG.

В этой статье я покажу сценарии атак, охватывающие категории от LLM01 до LLM09 по методологии OWASP Top 10 for LLM Applications, и расскажу, как от них защититься.

Отрывок из ленты источникаЧитать у источника: Habr

Безопасность LLM-агентов и генеративных продуктов: угрозы и методы защиты