Data Pipeline на Apache Airflow

О продукте

Airflow (Apache Airflow) — это открытая платформа для управления рабочими процессами и расписанием задач. Она была разработана компанией Airbnb и передана в Apache Software Foundation. Airflow позволяет создавать, управлять и визуализировать сложные цепочки задач (DAG — Directed Acyclic Graph), которые могут выполняться по расписанию или вручную.

Airflow используется для автоматизации и оркестрации сложных рабочих процессов в различных областях, таких как аналитика данных, обработка больших объемов данных, машинное обучение, ETL и интеграция данных. Он используется для загрузки данных из разных источников, вычислений, запуска моделей машинного обучения, генерации отчетов и других транзакционных и аналитических операций.

Благодаря настраиваемым конфигурациям и Python-скриптам Airflow очень гибкий и подходит для множества сценариев. Расширяемая архитектура фреймворка позволяет добавлять собственные операторы и подключать сторонние инструменты.

Сегодня Airflow очень широко используется в аналитике и инженерии данных, а также пользуется спросом у разработчиков.

На практике Apache Airflow используется в следующих случаях:

• оркестрация задач в data pipeline;
• интеграция множества информационных систем и данных из различных источников (внутренние и внешние базы, файловые хранилища, облачные приложения и пр.);
• загрузка информации в корпоративное хранилище и озеро данных (Data Lake);
• реализация и автоматизация ETL-процессов (Extract, Transform, Load) ;
• организация уникальных конвейеров доставки и обработки больших данных (data pipeline);
• управление конфигурацией конвейеров данных как кодом в соответствии с DevOps-подходом;
• автоматизация разработки, планирования и мониторинга batch-процессов обработки Data Flow.

Аудитория

• Инженеры данных (Data Engineer),
• Архитекторы,
• DevOps-инженеры и прочих специалистов Big Data систем.

Уровень подготовки

• Знание базовых команд Linux (опыт работы с командной строкой, файловой
  системой, POSIX, текстовыми редакторами vi, nano)
• Базовый опыт программирования Python/bash
• Средний опыт программирования SQL

О курсе

Курс содержит расширенные сведения по возможностям, которые предоставляет Apache Airflow для оркестрации сложных процессов и интеграции этой платформы с другими технологиями Big Data. Вы изучите полезные приемы дата-инженерии и лучшие практики (best practices) отрасли. Много практических заданий позволит закрепить полученные знания прямо на занятиях: проектируйте и реализуйте собственные workflow при поддержке опытного преподавателя!

Примеры прикладного использования Apache Airflow для управления процессами обработки больших данных разбираются в рамках нашего практического курса.

Соотношение теории к практике 30/70