Кто ходит по вашим сайтам, пока вы спите
Если посещаемость бодро растёт, доход от рекламы лежит на полу, а сервер просит пощады, вам не показалось. Мы нашли распределённого краулера, который приходил из поиска, выдерживал паузы, листал статьи и загружал картинки. Всё выглядело по-человечески, пока журналы разных сайтов не встретились. Тогда выяснилось: поиск играл один адрес, навигацию другой, картинки третий, а самого человека не существовало. А потом на сцену вышел GSCAN с паспортами ClaudeBot, GPTBot и ещё пяти знаменитостей.