2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных

Аудитория

Практический курс по потоковой обработке с использованием Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования механизмов потоковой обработки в спарк, с видами источников и нюансами практического использования Structured Streaming.

Соотношение теории к практике 50/50

Предварительная подготовка

• Опыт работы в Unix/SQL;
• Начальный опыт программирования (Python/Java);
• Знания в объеме, аналогичном курсу Core Spark
• Начальный опыт в экосистеме Hadoop
• Базовые знания Kafka

Программа курса

1. Введение в потоковую обработку

• Потоковая и пакетная обработка данных
• Особенности потоковой обработки
• Надежность и потоковая обработка.

2. Потоковая обработка в Apache Spark

• Два вида потоков (на основе RDD и Dataframe)
• Парадигма потоковой обработки в Structured Streaming
• Источники (sources и sink).

3. Совместное использование Batch и Streaming

• Трансформации и действия в Apache Spark
• Объединение данных в Spark (join)
• Особенности использования трансформаций при работе с потоковыми данными

4. Источники потоковых данных

• Файловый источник данных
• Apache Kafka как источник данных
• Другие источники потоковых данных

5. Обеспечение надежности потоковой обработки в Apache Spark

• Механизм checkpoint в Apache Spark
• Настройка streaming checkpoint