[Перевод] Кража памяти: как я заставил Claude рассказать личные секреты пользователя

Посмотрите на эту беседу с Claude. Заметили что-нибудь подозрительное?

Выглядит вполне невинно, но когда Claude закончил свой ответ, он уже отправил нападающему моё полное имя, текущего работодателя и ответы на мои контрольные вопросы, при этом никак не сообщив мне о происходящем.

$ bun dev

Exfiltrating data...

Name: Ayush Paul

Company: Beem

Hometown: Charlotte, NC

Я уже долго время изучаю системы памяти ИИ, и заметил, что о безопасности в них никто не думает, хотя они содержат больше информации, чем менеджеры паролей. ИИ-помощники наподобие Claude собрали профили самой подробной информации о миллионах людей. Пользователи доверяют им всё, от конфиденциальных рабочих ресурсов до личных секретов и проблем в отношениях. Со временем история бесед превращается в высокоточное воссоздание индивида, которое можно использовать для шантажа, подделки личности или ответа на контрольные вопросы.

Учтя всё это, я решил присмотреться к Claude, и в частности к основному повседневному помощнику (claude.ai, не Claude Code). Claude имеет функциональную, но наивную систему памяти из двух частей. Первая — это генерация сводки за день: недавние беседы кратко излагаются в нескольких параграфах о пользователе и вставляются в каждую беседу, чтобы Claude не приходилось каждый раз начинать с нуля. Вторая — это инструмент извлечения conversation_search, позволяющий по запросу выполняют поиск по всей истории бесед.

Там хранится невероятно ценная информация. Сама система памяти безопасна; вопрос заключается в том, что происходит, когда мы связываем её с агентом, способным ходить по вебу.