Big Data и блокчейн: комбо или противостояние?

Сегодня большие данные и технологии распределенного реестра до сих пор являются самыми популярными ИТ-темами. Возможности их внедрения в каждую прикладную сферу, от банковской отрасли до медицины, обсуждаются на конференциях всех уровней, корпоративных совещаниях и государственных советах [1]. Принесет ли объединение Big Data и блокчейн дополнительные бонусы, в каких случаях не нужно комбинировать эти технологии и есть ли примеры их совместного использования на практике – анализируем мнения экспертов и прикладные кейсы.

Почему блокчейн не нужен во всех проектах Big Data?

Прежде всего следует подчеркнуть принципиальное различие технологий распределенного реестра и больших данных: Big Data предполагает интеграцию информации из различных источников, тогда как в блокчейне, наоборот, копии информационных цепочек хранятся на множестве разных компьютеров [2]. Децентрализованное хранение и последовательный характер записи данных и обусловливает достаточно низкую скорость их считывания. В частности, пропускная способность популярных криптовалют, основанных на блокчейне, не превышает 10 тысяч транзакций в секунду, несмотря множество проектов, направленных на увеличение этого показателя. При этом скорость сети международной платежной системы Visa, работающей через централизованные сервера, составляет 24 тысячи транзакций в секунду [3]. Концепция Big Data подразумевает быструю обработку огромных массивов информации, которую блокчейн не может обеспечить, по крайней мере, пока.

Данные, которые попали в блокчейн, остаются там навсегда. Поэтому применять эту технологию имеет смысл только в тех задачах, где необходимо постоянное хранение неизменяемой информации, в т.ч. устаревшей и уже неиспользуемой [2]. Но такой потребности нет в отраслях с высокой динамикой изменений и достаточно низкой ценностью каждой отдельной записи, таких как, например, сведения о покупках конкретного покупателя в определенный день. Сегодня именно сфера маркетинга наиболее активно использует большие данные для персонализации рекламных предложений, о чем мы уже рассказывали здесь. И в этом случае блокчейн совершенно не нужен решениям Big Data, чтобы составить детальный портрет потребителя или управлять корпоративной репутацией в интернете.

Big Data, Большие данные, блокчейн, обработка данных, blockchain, block chain, распределенный реестр — Концепция хранения информации в блокчейне и Big Data противоречат друг другу

Когда полезно совместить большие данные с блокчейном?

Из-за своего специфического характера записи данных блокчейн отлично подходит для тех задач, где требуется высочайшая достоверность и неизменность информации [2]. Например, в сфере информационной безопасности. Технология распределенного реестра обеспечивает целостность и достоверность данных, а благодаря отсутствию единой точки отказа, и стабильность работы информационных систем. Блокчейн может решить проблему доверия к данным, а также предоставить возможность универсального обмена ими [4].

Неизменность и достоверность информационных цепочек блокчейна пригодится при организации автоматического архива операций с данными, в частности, для записи сведений о data pipelines. Это поможет избежать часть самых страшных ошибок Data Scientist на каждой из фаз стандарта CRISP-DM, о которых мы писали здесь.

Аналогично blockchain позволит получать подробные аналитические данные о цепях поставок и потребления, чтобы отслеживать и контролировать потери продукции при транспортировке, например, потери веса вследствие усыхания и испарения некоторых видов товаров [4].

Подобным образом сочетание Big Data и блокчейна можно использовать в здравоохранении, чтобы важные данные о здоровье клиентов медучреждений были максимально защищены, неизменны, проверяемы и не подвержены каким-либо манипуляциям. Также с помощью блокчейна медицинские учреждения смогут обмениваться достоверными сведениями со страховыми компаниями, органами правосудия, работодателями, научными учреждениями и другими организациями, нуждающимися в медицинской информации [4]. Подробнее о том, как совместить технологию распределенного реестра с Apache Kafka, читайте в нашей новой статье.

Кроме того, децентрализация распределенного реестра позволит устранить посредников и взаимодействовать напрямую с контрагентами, избегая промежуточного буфера, такого как технологический брокер или страховой агент [2].

5 примеров успешного совмещения блокчейна с большими данными

Облачные сервисы хранения больших данных Storj и FileCoin, которые обеспечивают высокую надежность, абсолютную неизменность и защиту данных от несанкционированного доступа. Эти сервисы обещают сократить стоимость хранения данных на 90% по сравнению с подобными решениями от Amazon Web Services’ Cloud [5].
Omnilytics – система, которая объединяет блокчейн с аналитикой больших данных по маркетинге, финансам, аудиту, прогнозированию тенденций и других приложения в разных отраслях. Пользователи сервиса могут отслеживать свою производительность в сравнении с реальным положением дел у конкурентов и партнеров своей сферы деятельности. Сервис поддерживает smart-контракты, распределенную идентификацию данных, обмен информацией через API и другие протоколы [5].
Datum – децентрализованная сеть хранения информации, управляемая токеном доступа к данным (DAT, Data Access Token) и предназначенная для монетизации индивидуальных данных [5].
Rublix – международная торговая платформа для криптовалютных инвесторов, которая проверяет подлинность и авторитет трейдеров, а также предоставляет доступ к рыночной информации, чтобы уменьшить текущую путаницу. Неизменность цепочек блоков гарантирует надежную и проверенную аналитика инвестиционных данных [5].
Provenance – сервис хранения и предоставления данных о происхождении продукта, предназначенный для потребителей, производителей и продавцов. Клиенты узнают достоверную информацию о том, из чего сделан продукт, откуда он появился и как влияет на окружающую среду. Производители и продавцы отслеживают каждую партию продукции и, по мере накопления данных, получают представление о потребностях и желаниях клиентов, чтобы соответствующим образом адаптировать к ним свои товары и услуги. Блокчейн обеспечивает прозрачность всей цепочки поставок, а средства Big Data – необходимую аналитику [5].

Аналитика больших данных для руководителей

Код курса

BDAM

Ближайшая дата курса

13 января, 2025

Продолжительность

24 ак.часов

Стоимость обучения

72 000 руб.

Думаете, как извлечь выгоду от двух самых популярных на сегодня технологий, Big Data и Блокчейн для своего бизнеса?

Приходите к нам на занятия, где мы научим руководителей, аналитиков, инженеров и администраторов эффективной работе с большими данными и распределенным реестром. Только практические инструменты и прикладные кейсы, чтобы по завершении обучения вы запустили и успешно реализовали свои собственные бизнес-проекты. Выбирайте курсы по своей специализации, записывайтесь на занятия и приходите в наш образовательный центр!

Смотреть расписание

Записаться на курс

Источники