Эксплуатация Apache NIFI

О продукте:

Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять конвейерами обработки данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Этот отказоустойчивый ETL-фреймворк с наглядным GUI и открытым исходным кодом обеспечивает визуальное проектирование потоковых конвейеров и их надежную реализацию с гарантированной доставкой потоков данных и возможность хранить их до выгрузки их во внешние системы.

На практике Apache NiFi широко используется в следующих задачах:

• распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
• ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
• средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
• маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
• шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

Аудитория:

• Инженеры данных, cистемные администраторы, системные архитекторы, разработчики Hadoop
• Желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера Apache NiFi

Уровень подготовки:

• Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
• Начальный опыт работы с Hadoop или NiFi

О курсе:

Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель — рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются кейсы из реального бизнеса, а также лучшие практики проектирования потоковых конвейеров и настройки отказоустойчивых высокопроизводительных кластеров

Продолжительность курса: 24 академических часа, 3 дня

Соотношение теории к практике: 50/50

Цель курса: развернуть и настроить свой кластер Apache NiFi, спроектировать и запустить отказоустойчивый потоковой конвейер обработки данных из типовых и кастомных компонентов (процессоры, службы контроллера и пр.), включая интеграцию со сторонними системами (Kafka, веб-сервисы)