26-28 июня мы провели первый пилот нашей новой образовательной программы для дата-инженеров по Yandex Managed Service for Apache Airflow™, разработанной в сотрудничестве со специалистами компании Яндекс. Наши слушатели провели 3 активных дня, изучая теорию про самый популярный пакетный оркестратор и сразу же применяя ее на практике. За 24 часа каждый участников курса написал собственный DAG с использованием Python- и Bash-операторов, включая переменные и соединения с внешними системами. Также были написаны и запущены более сложные ETL-конвейеры с сенсорами, хуками и обменом данными между задачами через механизм XCom.
Благодаря использованию облачной службы Yandex Managed Service for Apache Airflow™ в период обучения максимум времени было уделено настоящей работе дата-инженера, а именно проектированию и реализации конвейеров обработки данных, без развертывания и настройки инфраструктуры.
Следующий курс по Apache Airflow по этой программе пройдет в октябре 2024 года, места еще есть, регистрируйтесь!
