Hadoop SQL Hive администратор
1-дневный практический тренинг по настройке доступа к большим данных в распределенной файловой системе HDFS с помощью интерфейса Hadoop SQL Hive.
О продукте:
Apache Hive — это SQL-интерфейс доступа к данным, хранящимся в Hadoop (HDFS, HBase). Hive позволяет выполнять запросы, агрегировать и анализировать данные используя SQL-синтаксис. Hive использует технологию MapReduce, преобразуя SQL-запросы в задания Apache Spark или Hadoop.
На практике Apache Hive используется инженерами данных (Data Engineer) в ETL-процессах для длительных пакетных заданий на больших наборах данных. Hive не поддерживает интерактивное выполнение запросов в режиме реального времени, а потому не может использоваться в OLTP-задачах.
Ключевыми преимуществами Apache Hive являются следующие:
- масштабируемость — динамическое расширение при добавлении машины к кластеру Hadoop;
- расширяемость за счет MapReduce и определяемых пользователем функций (UDF/UDAF/UDTF;
- отказоустойчивость благодаря сохранению всех промежуточных результатов;
- поддержка разных форматов данных — TEXTFILE, Sequence, ORC, RCFILE, а также Parquet (с помощью плагина в версиях позже 0.10).
Как эффективно использовать эти достоинства и другие свойства Hive в production, рассматривается в нашем практическом курсе обучения «Hadoop SQL-администратор».
Аудитория:
Обучение Hive (курс Hadoop SQL) ориентировано на аналитиков, инженеров данных, разработчиков Big Data и других ИТ-специалистов, которые хотят применить опыт работы с реляционными базами данных для организации хранения, настройки импорта и экспорта данных в кластере Hadoop с использованием Apache Hive.
Уровень подготовки:
- Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
- Начальный опыт работы с SQL
О курсе:
Продолжительность: 1 день, 8 академических часов.
Соотношение теории к практике 40/60
Курс представляет собой практический однодневный тренинг по Apache Hive для аналитиков и инженеров данных, а также администраторов и разработчиков Big Data. Рассматриваются методы доступа к данным с использованием HiveQL, загрузка и выгрузка данных в Hive, HDFS, реляционные БД и NoSQL. Изучаются нюансы SQL-доступа к неструктурированным данным с использованием Apache Hive и Cloudera Impala, включая некоторые аспекты курса по Apache HBase и Spark SQL.
Программа обучения включает модули организации и оптимизации хранения данных с использованием Hive на HDFS, в т.ч. использование и оптимизация запросов операций JOIN и SELECT, оптимизация доступа с помощью партиций и buckets. Разбираются вопросы интеграции с другими инструментами экосистемы Hadoop (Apache HBase, Spark SQL, Sqoop) и Cloudera Impala. Практические занятия выполняются в Yandex Cloud и локальной кластерной системе на базе дистрибутивов Cloudera Hadoop, HortonWorks, Arenadata.
Что Вы получите:
Окончив курс «Hadoop SQL Hive администратор» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.
Чтобы записаться на курс HIVE: Hadoop SQL Hive администратор позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.
