Открытый митап «Модель Dataflow и паттерны управления пайплайнами обработки данных в Apache Beam в Kubernetes»

Школа Больших Данных проводит еще один бесплатный митап для архитекторов платформ данных, инженеров данных, разработчиков, DevOps-, DataOps-инженеров и просто интересующихся о модели Dataflow, API Apache Beam, а также паттернах управления приложениями распределенной обработки данных на Kubernetes.

Apache Beam – унифицированный API с открытым исходным кодом, реализующий модель Dataflow, предоставляет единый интерфейс для описания пайплайнов обработки данных, которые могут быть исполнены как в потоковом, так и пакетном режимах.

На митапе вы получите представление о модели Dataflow и паттернах управления пайплайнами обработки данных Apache Beam в Kubernetes, а также научитесь: применять модель Dataflow и использовать API Apache Beam для описания логики обработки данных и эффективно использовать паттерны управления пайплайнами обработки данных Apache Beam в Kubernetes.

Специальной подготовки не требуется, все будет происходить в интерактивной среде в Yandex Cloud. На митапе вы будете настраивать и запускать в кластере Managed Service for Kubernetes приложения Spark и Flink обработки данных в пакетном и в потоковом режимах.