Книги стали «топливом для ИИ»: компании массово скупают и уничтожают книги после оцифровки для обучения моделей

По данным расследования 404 Media, посредники приобретают от тысяч до миллионов печатных книг, которые после сканирования разбирают на страницы и уничтожают

ИИ-компании начали массово скупать печатные книги для обучения своих моделей, а после оцифровки уничтожать их. Как сообщает 404 Media, закупки ведутся через посредников, что позволяет не раскрывать конечных заказчиков. По данным расследования, отдельные сделки включают от 1000 до 1 млн книг, причём покупателей интересуют самые разные издания без привязки к жанру, автору или тематике.

Одним из участников этого рынка стала база ISBNdb, которая ранее специализировалась на обслуживании книжных магазинов и библиотек. Теперь сервис предлагает услуги по массовой закупке книг для компаний, работающих в сфере искусственного интеллекта.

Продавцы подержанных книг сообщили о резком росте спроса: если раньше удавалось продавать около 20 книг в неделю, то теперь объёмы выросли до нескольких сотен. Аналогичную тенденцию отмечают продавцы на площадках Alibris и Biblio.

Практика использования печатных книг для обучения ИИ уже подтверждалась в судебных материалах по делу Anthropic. Компания закупала книги, сканировала их с помощью подрядчиков, после чего многие экземпляры разбирались на отдельные страницы для высокоскоростного промышленного сканирования — такой способ дешевле и быстрее, чем неразрушающая оцифровка.

Суд признал использование законно приобретённых книг для обучения моделей допустимым с точки зрения принципа добросовестного использования (fair use), однако Anthropic одновременно получила иск из-за хранения библиотеки из 7 млн пиратских книг. Отдельный иск против Google также подали издатели, обвинив компанию в незаконном использовании миллионов защищённых авторским правом книг для обучения модели Gemini.

Авторы расследования отмечают, что книги становятся ценным источником данных, поскольку были написаны людьми и не содержат большого объёма контента, созданного искусственным интеллектом. При этом остаётся открытым вопрос, исключаются ли из массовой оцифровки редкие и давно не переиздававшиеся издания, поскольку после сканирования многие экземпляры безвозвратно уничтожаются, а их цифровые копии попадают в закрытые базы данных, используемые исключительно для обучения ИИ.