Потоковая обработка в Apache Spark

О продукте

Потоковая обработка (stream processing) — это метод анализа данных, поступающих непрерывно (например, сенсорные данные, логи, сообщения из соцсетей). В отличие от пакетной обработки, где данные накапливаются и обрабатываются партиями, потоковая обработка работает с данными «на лету».

Spark Streaming — модуль Apache Spark, предназначенный для обработки потоков данных. Он использует микропакетную модель: непрерывный поток разбивается на небольшие пакеты (микробатчи), которые обрабатываются как RDD (Resilient Distributed Datasets).

Аудитория

• Data Engineers и аналитики, работающие с большими данными.
• Разработчики, желающие создавать масштабируемые ETL-процессы и ML-модели.
• Архитекторы, планирующие внедрение Spark в облачные среды (Kubernetes)

Уровень подготовки

• Опыт работы в Unix/SQL;
• Начальный опыт программирования (Python/Java);
• Знания в объеме, аналогичном курсу Core Spark
• Начальный опыт в экосистеме Hadoop
• Базовые знания Kafka

О курсе

На курсе будут рассмотрены гибкие инструменты экосистемы Apache Spark и два подхода к решению задач по потоковой обработке данных в реальном времени — микропакетная модель (Spark Streaming) и современный подход с бесконечными таблицами (Structured Streaming). Выбор между ними зависит от задач: DStreams подходит для низкоуровневого контроля, а Structured Streaming — для удобства и оптимизаций. Для максимальной производительности Вы научитесь правильно настраивать размеры батчей, управлять памятью и использовать механизмы отказоустойчивости.