ИИ-агентов научили помнить — теперь их память можно взломать

Исследователи представили GhostWriter: атака позволяет внедрять ложные воспоминания в агентов через письма и календари с эффективностью до 98%

Исследователи из Университета штата Нью-Мексико представили атаку GhostWriter, которая позволяет незаметно влиять на долгосрочную память ИИ-агентов. Вместо взлома самой языковой модели злоумышленник внедряет ложные сведения в память системы, из-за чего ассистент может принимать неверные решения спустя недели или месяцы после атаки.

Современные ИИ-агенты всё чаще получают постоянную память: они запоминают стиль письма пользователя, рабочие задачи, контакты, предпочтения и контекст прошлых разговоров. Это делает их более похожими на персональных помощников, но одновременно создаёт новый канал атаки — сохранённые данные становятся частью системы принятия решений.

GhostWriter работает в два этапа. Сначала злоумышленник отправляет обычное письмо, приглашение в календарь или другой внешний контент со скрытыми инструкциями. Если агент автоматически анализирует такие данные и сохраняет их в память, вредоносная информация остаётся «спящей». Позже, когда пользователь отправляет обычный запрос, агент извлекает отравленную запись и может выполнить действия, выгодные атакующему.

Эксперименты показали серьёзность проблемы: в среднем успешность внедрения вредоносной памяти составила около 98%, а вероятность её активации при последующих запросах — около 60%. Атака может использоваться для подмены информации, утечки конфиденциальных данных, скрытой передачи пользовательских файлов или выполнения действий за пределами разрешённых полномочий.

Авторы исследования предложили защитную архитектуру Agentic Memory Sentry (AM-Sentry). Система проверяет данные перед сохранением в память и анализирует извлекаемые воспоминания перед передачей их языковой модели. В наиболее строгой конфигурации AM-Sentry снизила эффективность GhostWriter до менее чем 12%, при этом почти не повлияв на полезные функции ИИ-агента.

Исследователи отмечают, что традиционные методы защиты от «промпт-инъекций» (prompt injection) не подходят против атак на память: вредоносные записи могут выглядеть как обычная информация, а не как явные команды. По мере того как ИИ-агенты начинают управлять электронной почтой, календарями, кодом и бизнес-процессами, безопасность их памяти становится отдельным критическим приоритетом.

Работа показывает, что следующий этап борьбы за безопасность ИИ будет связан не только с контролем того, что модели генерируют, но и с контролем того, что они запоминают. Долгосрочная память может сделать ассистентов значительно полезнее — но без механизмов проверки она превращается в один из самых опасных элементов их архитектуры.