Anthropic рассказала про новые взломы: модели Claude проникли в сети трёх компаний во время тестов

Модели получили доступ в интернет из-за ошибки в тестовой среде, после чего взломали реальные корпоративные системы. Компания остановила все тесты

Anthropic сообщила, что несколько моделей семейства Claude получили несанкционированный доступ к системам трёх компаний во время внутренних испытаний по кибербезопасности. Компания назвала произошедшее «операционным сбоем» и приостановила все тесты 23 июля. Инциденты были выявлены после проверки 141 006 тестовых сессий, начатой вскоре после того, как OpenAI сообщила о взломе платформы Hugging Face своим автономным ИИ-агентом.

По данным Anthropic, причиной стала ошибка в организации испытаний: модели должны были работать без доступа к интернету, однако «из-за недоразумения они оказались подключены к публичной сети». Получив доступ, Claude Opus 4.7, Claude Mythos 5 и одна из внутренних экспериментальных моделей смогли проникнуть в инфраструктуру трёх организаций, используя простые методы, включая подбор слабых паролей и эксплуатацию незащищённых сетевых интерфейсов.

Самый необычный эпизод произошёл с Claude Opus 4.7. Во время задания формата Capture the Flag (учебного сценария по поиску скрытой информации в компьютерной сети) модель получила вымышленную компанию, название которой совпало с реально существующей. ИИ решил, что найденные реальные серверы являются частью испытаний, самостоятельно обнаружил уязвимости, получил учётные данные и доступ к базе данных организации. В другом случае ещё не выпущенная исследовательская модель самостоятельно прекратила атаку, когда поняла, что целью стала настоящая компания, а не тестовая среда.

Anthropic уведомила пострадавшие организации 27 июля. Две из них до этого не знали о произошедшем, с третьей компания продолжает устанавливать контакт. Партнёр Anthropic — лаборатория кибербезопасности Irregular — также проводит собственное расследование. В компании признали, что по мере роста возможностей современных ИИ-моделей существующие механизмы контроля становятся недостаточными и требуют серьёзного усиления как во внутренних, так и во внешних тестовых средах.

Инцидент произошёл на фоне ужесточения внимания властей США к безопасности новых ИИ-систем. После аналогичных событий с OpenAI администрация президента Дональда Трампа уже начала подготовку новой системы добровольного тестирования наиболее мощных моделей, а сами OpenAI и Anthropic обсуждают вопросы безопасности будущих ИИ-систем с американскими регуляторами и законодателями.