В Anthropic работают около 30 000 ИИ-агентов или как Claude разрабатывает себя сам

По внутреннему индексу автоматизации самих Anthropic, Claude уже ведёт 26% работы в области разработки ИИ: получает задачу на высоком уровне и выполняет большую часть работы самостоятельно, оставаясь под наблюдением человека. Более 90% работ выполняются как минимум при значительном участии ИИ. При этом полностью автономных направлений среди измеренных пока нет.

Для контроля за агентами Anthropic использует онлайн- и офлайн-мониторы. Онлайн-монитор проверяет 100% действий агентов до их выполнения и может заблокировать или скорректировать потенциально опасное действие. Все действия также поступают в офлайн-монитор для последующего анализа.

За август система обработала более миллиарда решений исследовательских и инженерных агентов. Монитор заблокировал около 0,002% из них — примерно одно решение из 47 000.

Офлайн-монитор дополнительно отмечает около 100 000 транскриптов в неделю. После автоматической фильтрации наиболее приоритетные случаи — примерно 50 в неделю — передаются людям для проверки.

Anthropic также впервые показала распределение вычислительных ресурсов. За неделю с 13 по 20 июля около 6% вычислений, использованных для AI R&D, пришлось на исследования безопасности. Среди вычислений именно для исследований с участием ИИ доля составила около 12%.

Есть и методологический нюанс: собственные модели Claude использовались для составления списка задач и оценки степени их автоматизации. Anthropic признаёт, что это создаёт риск ошибок оценки, поэтому планирует привлечь независимых сторонних проверяющих.