Что такое большие данные: разбор на примерах

Когда человек впервые спрашивает, что такое большие данные, ему обычно отвечают: «Это очень много информации». Такое объяснение ничего не объясняет. По нему непонятно, почему бухгалтерский архив за двадцать лет большими данными не считается, а поток кликов в мобильном приложении за один вечер — считается.

Дело не в размере файла, а в том, что привычные инструменты с такими данными физически не справляются: они не открываются в одной таблице, приходят непрерывным потоком и лежат в десятке разных форматов сразу. Разберём, как устроен этот конвейер, где вы уже участвуете в нём каждый день, зачем он банкам и бирже и где в нём прячутся ошибки, которые дорого обходятся.

Кратко

• Большие данные — это не «много гигабайт», а данные, которые не помещаются в одну таблицу и один сервер: их слишком много, они приходят слишком быстро и слишком разнородны.
• Ценность появляется не на сборе, а на обработке. Сырой поток сам по себе бесполезен и даже вреден: он создаёт иллюзию знания.
• Вы производите большие данные ежедневно — покупками, маршрутами, поисковыми запросами, платежами по карте.
• В финансах на них держатся антифрод, кредитный скоринг и надзор за биржевыми операциями.
• Главный риск не объём, а качество: смещённая выборка и подмена причины корреляцией дают убедительный, но неверный вывод.

Путь данных от источника до решения и три свойства, которые делают данные «большими».

Почему объём — не главный признак

Классическое описание больших данных строится на трёх свойствах, и объём среди них — только одно из трёх.

• Объём — данных столько, что один компьютер их не обработает, нужен кластер из множества машин.
• Скорость — они поступают непрерывно, а не выгружаются раз в месяц. Пока вы считаете вчерашний срез, набежал новый.
• Разнообразие — в одном потоке лежат числа, тексты, фотографии, записи звонков и служебные логи. Единой структуры нет.

Позже к трём свойствам добавили ещё два, и на практике именно они решают судьбу проекта. Достоверность — насколько данным вообще можно верить: в потоке полно дублей, опечаток и сбоев датчиков. Ценность — есть ли в этом массиве ответ на вопрос, который стоит денег.

Отсюда простое правило: архив на много терабайт, который спокойно лежит и раз в год выгружается в отчёт, большими данными не является. А умеренный по объёму, но непрерывный поток событий из приложения — является.

Как работают большие данные

Работают они как конвейер: данные собирают из множества источников, складывают в хранилище в сыром виде, затем очищают, связывают между собой и только после этого превращают в модель, отчёт или автоматическое действие.

Первый этап — сбор. Источники разные: кассовые операции, клики в приложении, показания промышленных датчиков, служебные записи серверов. Их не приводят к общему виду сразу — на потоке это слишком дорого.

Второй этап — хранение. Сырьё складывают в так называемое озеро данных — хранилище, куда данные попадают как есть, без предварительной структуры. Логика простая: сегодня непонятно, какой вопрос вы зададите через год, поэтому выбрасывать ничего нельзя.

Третий этап — обработка. Здесь данные чистят от дублей и пропусков, склеивают записи об одном и том же событии из разных систем и собирают витрины — готовые наборы под конкретную задачу. На этом этапе съедается основная часть времени команды, а не на красивых моделях.

Четвёртый этап — интерпретация. Витрина превращается в отчёт, дашборд или предсказание. Именно здесь данные начинают влиять на решения, а до этого момента они просто занимают место.

Чем большие данные отличаются от обычной аналитики

Обычная аналитика отвечает на вопрос «что уже произошло» по заранее подготовленным таблицам, а большие данные — на вопрос «что происходит прямо сейчас и что вероятно произойдёт дальше» по сырому непрерывному потоку.

Граница между ними подвижная. Одна и та же задача — например, отчёт о продажах — решается обычными средствами, пока речь о сети из десятка магазинов, и требует распределённой обработки, когда к ней добавляют поведение каждого посетителя сайта в реальном времени.

Где вы уже отдаёте свои данные

Каждый человек с телефоном — источник в чужом конвейере, и обычно бесплатный.

• Маркетплейс запоминает не только покупки, но и то, что вы рассматривали и не купили, сколько секунд смотрели карточку и в какое время суток заходите.
• Карта лояльности в магазине связывает разрозненные чеки в одну историю конкретного покупателя.
• Навигатор строит маршрут по обезличенным данным о скорости движения тысяч телефонов на дороге — вы одновременно и потребитель сервиса, и его сырьё.
• Банковское приложение видит географию, время и типовой размер ваших операций — на этом же строится защита от мошенников.

Отсюда практический вывод: чем полнее ваш след, тем точнее чужие модели работают с вами — и в вашу пользу, и против неё. Что именно вы оставляете и как это ограничить, мы разбирали в материале про цифровой след и способы его контролировать.

Зачем большие данные банкам и бирже

В финансах большие данные решают три задачи: поймать мошенничество, оценить риск заёмщика и отследить неладное на торгах.

Антифрод — самый заметный пример. Когда банк отклоняет операцию, которая не похожа на ваше обычное поведение, за этим стоит модель, обученная на миллионах транзакций. Она сравнивает конкретный платёж с типовым профилем и решением занимается за доли секунды.

Кредитный скоринг работает похоже: вместо анкеты из десяти пунктов модель смотрит на сотни признаков платёжной истории. Банк России как регулятор отдельно следит за тем, чтобы такие модели не превращались в непрозрачный чёрный ящик.

На бирже данные нужны и участникам, и надзору. Московская биржа раскрывает обезличенные данные о торгах, и на них строятся и алгоритмические стратегии, и системы выявления манипуляций. Отчётность эмитентов, дивидендные решения, параметры выпусков облигаций — это тоже данные, просто структурированные.

Частный инвестор почти никогда не работает с сырьём — ему нужен результат обработки. Условно, вместо выгрузки всех сделок по бумаге удобнее открыть скринер акций с фильтрами по параметрам и отобрать компании по нужным критериям, а сроки публикаций посмотреть в календаре отчётностей компаний.

Как из данных получается прогноз: путь по шагам

Прогноз не «вычитывается» из массива — его строят по фиксированной последовательности, и пропуск любого шага обесценивает результат.

Пятый шаг — единственная настоящая проверка. Модель, которую оценивают на тех же данных, где она училась, всегда выглядит блестяще и разваливается на практике. Подробнее эта механика описана в разборе о том, как обучаются нейросети.

Что часто путают: данные, машинное обучение и искусственный интеллект

Это три разных слоя, а не синонимы: большие данные — сырьё, машинное обучение — метод, искусственный интеллект — общее название для всей области.

• Большие данные — то, из чего учатся. Без них современные модели нечем кормить.
• Машинное обучение — способ извлечь из этого сырья закономерность вместо написанных вручную правил.
• Нейросети — один из инструментов машинного обучения, удобный там, где признаки трудно описать словами: изображения, речь, тексты.

Порядок именно такой: сначала данные, потом метод. Если хочется начать с основ, есть базовый разбор что такое нейросеть и как она учится и отдельный материал о том, чем машинное обучение отличается от ИИ и нейросетей.

Где здесь ловушка: почему большие данные врут

Объём данных не защищает от ошибки, а маскирует её: неверный вывод на миллионе записей выглядит намного убедительнее, чем на сотне.

• Смещение выборки. Опрос через мобильное приложение описывает только тех, у кого это приложение есть. Остальных в данных просто нет, и модель об этом не знает.
• Корреляция вместо причины. Два показателя могут двигаться вместе годами и не иметь друг к другу отношения. Данные показывают связь, но не её направление.
• Устаревание. Модель, обученная на поведении людей в одних условиях, теряет точность, когда условия меняются.
• Ошибки разметки. Если размечали данные небрежно, модель добросовестно выучит чужую невнимательность.
• Иллюзия точности. Красивый дашборд выглядит объективным, хотя за ним стоит цепочка допущений, сделанных людьми.

Практическое правило: прежде чем верить выводу из данных, спросите, кто и как попал в выборку и кто в неё не попал. Этот вопрос отсеивает большую часть громких «открытий».

Какие инструменты используют для работы с большими данными

Стандартный набор — распределённые системы хранения и обработки плюс язык запросов сверху.

• Hadoop и Spark — расчёты на кластере из многих машин, когда данные не помещаются на одну.
• Kafka — приём непрерывных потоков событий без потерь.
• Колоночные базы вроде ClickHouse — быстрые агрегирующие запросы по огромным таблицам.
• SQL и Python — то, с чего начинается практическая работа и без чего остальное бесполезно.

Отдельно стоит инфраструктура: конвейеры живут на арендованных мощностях, потому что держать свой кластер под редкие пиковые расчёты невыгодно.

Кто работает с большими данными

За конвейером стоят три разные профессии, и путают их чаще всего.

• Дата-инженер строит и поддерживает сам конвейер: сбор, хранение, обновление. Самая незаметная и самая критичная роль.
• Аналитик данных отвечает на вопросы бизнеса по готовым витринам и объясняет результат словами.
• Дата-сайентист строит модели и проверяет гипотезы там, где простого ответа в данных нет.

Как начать разбираться в больших данных

Начинать стоит не с кластера, а с малого: научиться задавать данным конкретный вопрос и проверять ответ на выборке, которую вы понимаете целиком.

• Возьмите знакомую предметную область — свои расходы, статистику сайта, историю сделок по портфелю.
• Сформулируйте один проверяемый вопрос вместо «посмотрим, что интересного в данных».
• Освойте SQL на уровне выборок и группировок: это язык, на котором говорят почти все хранилища.
• Научитесь видеть пропуски и выбросы раньше, чем строить графики.
• Только потом переходите к распределённым инструментам — они решают проблему масштаба, а не проблему мышления.

Что делать дальше

Короткий чек-лист, который стоит применять к любому выводу «по данным» — своему или чужому.

• Проверьте источник: кто собирал данные и с какой целью. Цель сбора определяет перекос.
• Уточните период. Вывод по спокойному отрезку времени не переносится на турбулентный.
• Отделяйте наблюдаемый факт от интерпретации — в отчётах их обычно подают одним предложением.
• Не путайте точность цифры с её осмысленностью: значение до сотых долей не делает вывод верным.
• Для практики начните с готовых структурированных данных — например, отберите компании по параметрам в скринере и сверьте гипотезу с календарём отчётностей.

Материал носит информационный характер, не является инвестиционной рекомендацией и не содержит прогнозов. Решения принимайте самостоятельно, опираясь на первоисточники: раскрытия эмитентов, данные Московской биржи и материалы Банка России.

Частые вопросы

Сколько данных считается большими данными

Порога в гигабайтах не существует. Критерий практический: данные считаются большими, когда привычный инструмент перестаёт с ними справляться и требуется распределённая обработка. Для маленькой компании эта граница наступит намного раньше, чем для банка.

Нужно ли программирование, чтобы работать с большими данными

Да, хотя бы на базовом уровне. Минимум — SQL для выборок; для обработки и моделей практически везде используется Python. Аналитику иногда хватает SQL и визуализации, инженеру и исследователю — нет.

Законно ли собирать большие данные о людях в России

Законно при соблюдении правил обработки персональных данных. Сбор и обработку регулирует федеральный закон «О персональных данных», надзор ведёт Роскомнадзор, а обезличенные данные, по которым нельзя установить конкретного человека, имеют отдельный режим. Ключевые требования — согласие, заявленная цель и защита от утечки.

Чем большие данные полезны частному инвестору

Напрямую — почти ничем, полезен результат их обработки. Частному инвестору нужны не сырые потоки, а агрегированные и проверяемые данные: раскрытия эмитентов, статистика торгов Московской биржи, календари корпоративных событий и фильтры по параметрам компаний.

Чем большие данные отличаются от обычной базы данных

База данных — это место хранения со строгой структурой, а большие данные — характеристика самого потока и подход к работе с ним. В классической базе структуру задают заранее, до записи; в конвейере больших данных сначала сохраняют сырьё, а структуру придают позже, под конкретную задачу.