Крупные ИИ‑компании договорились о едином запрете обучения ИИ в файле robots.txt
В Google совместно с такими крупными разработчиками ИИ, как OpenAI, Google, Microsoft и Anthropic, объявили о планах по внедрению в файл robots.txt единого механизма управления использованием контента для обучения. Это позволит владельцам веб‑сайтов задавать свои предпочтения в отношении машинного обучения сразу для нескольких разработчиков, выполнив настройку всего один раз.
Это отрывок. Полностью — на сайте Habr