Apache AirFlow — это open-source инструмент, который позволяет разрабатывать, планировать и осуществлять мониторинг сложных рабочих процессов. Главной особенностью является то, что для описания процессов используется язык программирования Python. Airflow используется как планировщик ETL/ELT-процессов.
Основные сущности рабочего процесса на Apache Airflow:
- Направленные ациклические графы (DAG)
- Планировщик (Scheduler)
- Операторы (Operators)
- Задачи (Tasks)
Подробнее о том, как используется AirFlow на практике, мы рассказываем в отдельной статье на примере реальных кейсов из Mail.ru, онлайн-кинотеатра IVI и маркетплейса одежды и аксессуаров Lamoda.