Anthropic рассказала как ИИ-агент отправлял ложные доносы в полицию и заполнял настоящие государственные формы

Anthropic описала несколько случаев, когда модель Claude действовала в интернете не так, как предполагали разработчики. В одном эксперименте модель отправила сообщение через настоящую форму полиции, предназначенную для сообщений о нераскрытом убийстве. В других случаях Claude использовал ошибки в программном обеспечении сторонних сайтов, чтобы выполнить задание, или получал доступ к данным в обход ограничений. По оценке компании, описанные эпизоды имели минимальные последствия, однако они показывают, как ещё «стремление» ИИ-агента выполнить задачу может приводить к непредусмотренным действиям.