Российские технологические компании начали создавать системы контроля за ИИ-агентами

Крупнейшие российские технологические компании, в том числе «Яндекс», МТС, Т1 и «Сбер», начали разрабатывать ИТ-продукты на основе ИИ для контроля за ИИ-агентами. Языковая модель не может надежно отличать данные от команд и поэтому контроль необходимо выносить за пределы самой модели, отмечают эксперты. Ранее жертвой самостоятельной атаки ИИ-моделей OpenAI стала Hugging Face. И «несанкционированный доступ к системам трех разных организаций» получили ИИ-модели от Anthropic