Все курсы

Потоковая обработка в Apache Spark

курс «Потоковая обработка в Apache Spark»

Даты начала курса
11 января 2024
16 мая 2024
08 августа 2024
Стоимость обучения 44 000 руб. Регистрация
Длительность обучения 16 ак.часов
Код курса SPOT

2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных

Аудитория

Практический курс по потоковой обработке с использованием Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования механизмов потоковой обработки в спарк, с видами источников и нюансами практического использования Structured Streaming.

Соотношение теории к практике 50/50

Предварительная подготовка

  • Опыт работы в Unix/SQL;
  • Начальный опыт программирования (Python/Java);
  • Знания в объеме, аналогичном курсу Core Spark
  • Начальный опыт в экосистеме Hadoop
  • Базовые знания Kafka

Программа курса

1. Введение в потоковую обработку

  • Потоковая и пакетная обработка данных
  • Особенности потоковой обработки
  • Надежность и потоковая обработка.

2. Потоковая обработка в Apache Spark

  • Два вида потоков (на основе RDD и Dataframe)
  • Парадигма потоковой обработки в Structured Streaming
  • Источники (sources и sink).

3. Совместное использование Batch и Streaming

  • Трансформации и действия в Apache Spark
  • Объединение данных в Spark (join)
  • Особенности использования трансформаций при работе с потоковыми данными

4. Источники потоковых данных

  • Файловый источник данных
  • Apache Kafka как источник данных
  • Другие источники потоковых данных

5. Обеспечение надежности потоковой обработки в Apache Spark

  • Механизм checkpoint в Apache Spark
  • Настройка streaming checkpoint

 

Программа курса «SPOT: Потоковая обработка в Apache Spark»

Скачать программу курса «Потоковая обработка в Apache Spark» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Если у Вас остались вопросы Вы можете позвонить к нам по телефону +7 (495) 414-11-21  или заполнить форму обратной связи на сайте.
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Поиск по сайту