Версия сайта для слабовидящих
Эксплуатация Apache NIFI
3-хдневный практический курс по эксплуатации кластера Apache NiFi для дата-инженеров, проектирующих конвейеры потоковой обработки данных, и администраторов кластера Apache NiFi
Код курса
NIFI3
Ближайшая дата курса
20 декабря, 2023
Длительность обучения
24 ак.часов
Стоимость обучения
66 000 руб.
Практическая польза Apache NiFi для дата-инженера
Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Этот отказоустойчивый ETL-фреймворк с наглядным GUI и открытым исходным кодом обеспечивает визуальное проектирование потоковых конвейеров и их надежную реализацию с гарантированной доставкой потоков данных и возможность хранить их до выгрузки их во внешние системы.
На практике Apache NiFi широко используется в следующих задачах:
- распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
- ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
- средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
- маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
- шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.
Кому нужно обучение по Apache Nifi
Цель курса:
Аудитория:
- Инженеры данных, cистемные администраторы, системные архитекторы, разработчики Hadoop
- Желающие получить практические навыки по установке, настройке и управлению потоками данными (Data pipeline) с использованием кластера Apache NiFi
Предварительный уровень подготовки:
- Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
- Начальный опыт работы с Hadoop или NiFi
Как проходят курсы
Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель - рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются кейсы из реального бизнеса, а также лучшие практики проектирования потоковых конвейеров и настройки отказоустойчивых высокопроизводительных кластеров
Продолжительность курса: 24 академических часа, 3 дня
Соотношение теории к практике: 50/50
Программа курса
NIFI3: Эксплуатация Apache NIFI
1. Введение в Apache NiFi
- Архитектура Hadoop Data Flow
- Архитектура решения и ключевые концепции Apache NiFi: Принципы потоковой обработки данных
- Data Lineage и Data Provenance (Data Provenance Events)
- Функционал NiFi по управлению потоковой обработкой данных: гарантированная доставка, управление каналом (буферизация, pressure), QoS, версионность
2. Создание DataFlow
- Создание dataflow: работа с атрибутами FlowFile, маршрутизация, source и sink
- Репозитории FlowFile Repository, Content Repository, Provenance Repository. Анатомия FlowFile, процессоры и коннекторы
- Мониторинг dataflow
- Параметризация dataflow: переменные и параметры
3. Программная обработка FlowFile
- Использование скриптов в NiFi: работа с атрибутами и данными FlowFile,
программная маршрутизация FlowFile - Сбор данных в месте их производства с помощью Apache minifi
4. Работа с Records и Local State
- Controlling service и работа с Records и State: формат FlowFile и его
преобразование, State Manager и его использование - Reporting tasks и обработка результатов
- Происхождение данных: анализ provenance и lineage
- Apache NiFi Registry версионность и поддержка production deployment
5. Интеграция и масштабирование
- Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
- Доступные расширения и готовые «из коробки» процессоры и коннекторы
- Возможности интеграции кластера NiFi (consumer/provider) с Kafka
- Интеграция Apache Kafka, NiFi
- Типовые сценарии/схемы потоковой обработки данных
- Процессорные группы (Remote Processor Group)
6. Задачи администрирование NiFi
- Установка и настройка кластера Apache NiFi
- Управление кластером NiFi
- Оптимизация DataFlow
- Инструменты мониторинга и уведомлений NiFi
- Безопасность для Apache NiFi (SSL, Аутентификация LDAP)
Программа курса «NIFI3: Эксплуатация Apache NIFI»
Укажите e-mail, на который будет оправлена ссылка для скачивания файла:
По завершении обучения вы получите
Кто проводит курс
Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
- Сертифицированный тренер Arenadata (2019)
- Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
- EMC Certified Instructor (2007)
- Dell EMC Specialist – Cloud Architect (2006)
- Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
- IT Service Manager (2006)
- Certified Information System Security Professional (CISSP) (2006 -2010)
- Certified Information Security Manager (CISM)
