Интеграция Hadoop и NoSQL

О продукте:

NoSQL (Not Only SQL) – это подход к реализации масштабируемого хранилища с гибкой моделью данных, когда проблемы масштабируемости (scalability) и доступности (availability), важные для Big Data решений, решаются за счёт атомарности (atomicity) и согласованности данных (consistency). Выделяют 4 типа NoSQL-СУБД:

1. Ключ-значение (Key-value) для хранения изображений, создания специализированных файловых систем и кэширования объектов в масштабируемых Big Data системах, таких как игровые и рекламные приложения, проекты интернета вещей (IoT/IIoT). Примеры: Oracle NoSQL Database, Berkeley DB, MemcacheDB, Redis, Riak, Amazon DynamoDB.
2. Документно-ориентированное хранилище для каталогов, пользовательские профилей и CMS-систем, где каждый уникальный документ меняется со временем.  Применяется в издательском деле и документальном поиске, например, CouchDB, Couchbase, MongoDB, eXist, Berkeley DB XML.
3. Колоночное хранилище (Column Family), где значения хранятся в столбцах (колонках), представленных в отдельных файлах. Это позволяет хранить большое количество атрибутов в сжатом виде, что ускоряет выполнение запросов, поиск и агрегацию данных. Такие СУБД отлично подходят для обработки счётчиков и событий, связанных со временем, например, в системах биржевой аналитики, IoT/IIoT-приложениях, CMS-системах и пр. Примеры Google Big Table, Apache HBase, Cassandra, ScyllaDB, Apache Accumulo и
4. Графовое хранилище – это сетевая база, которая использует узлы и рёбра для отображения и хранения данных. Эта модель оптимальна для задач обхода графа без дополнительных вычислений, как Join-операции в SQL. Эти СУБД поддерживают ACID-требования и применяются для анализа связей: соцсети, выявление мошенничества, маршруты общественного транспорта, дорожные карты, топологии. Примеры: InfoGrid, Neo4j, Amazon Neptune, OrientDB, AllegroGraph, Blazegraph, InfiniteGraph, FlockDB, Titan, ArangoDB.

Зачем интегрировать Hadoop с NoSQL-СУБД и реляционными базами данных

Apache Hadoop — это основная технология хранения и обработки больших данных, open-source набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ на кластерах из сотен и тысяч узлов. Сегодня вокруг Apache Hadoop существует целая экосистема связанных проектов и технологий, которые используются для интеллектуального анализа больших данных (Data Mining), в том числе с помощью машинного обучения (Machine Learning).

На практике Apache Hadoop используется во множестве компаний по всему миру для:

• хранения множества разноформатной информации в рамках озера данных (Data Lake);
• сортировка огромных объемов данных и разбор содержимого чрезвычайно больших файлов;
• аналитики поисковых запросов и пользовательских логов в высоконагруженных веб-сайтах и корпоративных информационных системах;
• обработки графических данных.

NoSQL-СУБД Apache HBase использует файловую систему Hadoop (HDFS) для хранения данных, обеспечивая высокую скорость за счет кэширования в памяти и обработки данных на стороне сервера через фильтры и сопроцессоры. Поэтому HBase востребована в системах аналитики больших данных в реальном времени (OLTP) и табличных пользовательских приложений. Поддержка внешних SQL-решений, таких как Apache Phoenix, Drill, Hive и Cloudera Impala, позволяет работать с данными в HBase, как с реляционными таблицами. Такие SQL-on-Hadoop инструменты существенно снижают порог входа в технологию, облегчая ежедневную работу аналитиков данных и Data Scientist’ов.

Аудитория:

Наши авторские курсы по интеграции NoSQL и Hadoop ориентированы на инженеров данных, архитекторов Data Lake и КХД, а также разработчиков Big Data систем, которые хотят получить следующие знания и навыки:

• понять, как организовать комплексную Big Data инфраструктуру на базе озера данных Apache Hadoop, интегрированного с корпоративными хранилищами данных (КХД), OLAP и OLTP системами;
• разобраться с архитектурой КХД и Data Lake, принципами их наполнения, средствами организации ELT/ETL-процессов;
• освоить инструменты создания конвейеров данных (data pipelines), включая потоковый (streaming) и пакетный (batch) режимы с применением Apache Sqoop и Spark;
• научиться формировать запросы к большим данным с помощью средств SQL-on-Hadoop (Apache Hive, Cloudera Impala, Apache Phoenix);
• приобрести опыт работы с MPP-СУБД Greenplum и ArenadataDB для эффективного охранения и быстрой аналитики больших данных, а также с OLAP-системами Yandex ClickHouse и Arenadata Quick Marts;
• узнать лучшие практики использования всех этих инструментов для решения прикладных бизнес-задач.

Уровень подготовки:

• Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
• Знание SQL

О курсе:

Продолжительность: 7 дней, 40 академических часа

Соотношение теории к практике 40/60

Практическое обучение инженеров данных и архитекторов Big Data в «Школе Больших Данных» включает теоретический минимум, необходимый для прикладной работы и эффективному использованию Apache HBase, Spark, Sqoop, Hive, Impala, Greenplum, ArenadataDB, Yandex ClickHouse и Arenadata Quick Marts. Подробно рассматриваются вопросы проектирования озер и корпоративных хранилищ данных, схемы HBase, Greenplum, ArenadataDB, Yandex ClickHouse и Arenadata Quick Marts. Подробно рассматриваются вопросы проектирования озер и корпоративных хранилищ данных, импорта и экспорта информации из реляционных источников, преобразование данных в процессах ETL/ELT с использованием batch-процессинга Hive и конвейеров на Apache Spark.

Курс содержит описание механизма SQL-доступа к данным в OLAP и OLTP-решениях посредством Cloudera Impala и Apache HBase/Phoenix. MPP-системы разбираются на примере аналитической СУБД Greenplum/ArenadataDB, в т.ч. интеграцию с Hadoop-кластерами по протоколу параллельного обмена данных со сторонними системами PXF (Platform eXtension Framework). Также курс включает знакомство с кластерной колоночной СУБД Arenadata Quick Marts (Yandex СlickHouse), которая позволяет в режиме реального времени генерировать аналитические отчёты на больших объемах данных.

На практике вы самостоятельно построите собственный data pipeline в рамках ETL/ELT-процессов, поработаете с SQL-запросами к Hadoop, спроектируете схему организации NoSQL-таблиц в озере и корпоративном хранилище данных.